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”本 书 是 为 数学 专业 (包括 概率 统计 专业 与 应 用 数学 专业 ) 的 大 学 生 、 研 究 生 学 习 随 机 过 程 课 
: 和 惟 而 编写 的 入 门 教材 ,这 门 课程 应 是 初等 概率 论 的 后 继 课程 ,要 求学 生 有 微 积 分 与 高 等 代数 的 数 
学 准备 ,不 需要 测度 论 、 泛 函 分 析 等 较 高 深 的 知识 .本 书 内容 包 括 马尔 可 夫 链 与 更 新 过 程 ,它们 是 
应 用 概率 论 的 最 重要 的 理论 基础 部 分 ,因此 对 于 希望 了 解 与 掌握 随机 过 程 的 初步 内 容 与 应 用 方 

法 的 各 类 理工 科 、 医 科 等 大 学 生 与 研究 生 以 及 科学 技术 人 员 , 本 书 也 是 适用 的 . 

实践 表明 ,即使 对 概率 论 与 随机 过 程 方向 的 研究 坐 ,一 开始 就 学 以 测度 论 为 基础 的 随机 过 程 
课程 ,学 起 来 也 有 一 定 的 困难 .从 初等 的 直观 意义 比较 明显 的 随机 过 程 学 起 是 较 好 的 选择 . 对 于 
以 应 用 为 目的 而 学 习 随机 过 程 的 人 ,自然 就 更 需要 随机 过 程 的 初等 入 门 教材 . 尽管 目前 国内 外 出 
版 的 随机 过 程 的 教材 已 经 不 少 ,然而 读者 可 读 .教师 可 教 的 教材 仍 难 更 得 .作者 在 多 年 的 教学 工 
作 中 为 编写 一 部 实用 的 随机 过 程 教材 煞费苦心 ,孜孜 以 求 .首次 的 尝试 就 是 1989 年 出 版 的 《随机 
过 程 导 论 》 一 书 .该 书 中 写 得 比较 成 功 , 最 受 欢 迎 的 只 是 其 中 的 马尔 可 夫 链 部 分 .不 用 测度 论 与 泛 
函 分 析 ,确实 给 讲授 与 学 习 随机 过 程 造 成 很 大 的 困难 .本 书 只 包含 马尔 可 夫 链 与 更 新 过 程 ,不 得 
不 会 去 了 布朗 运动 等 重要 内 容 的 原因 就 在 于 此 . 本 书 中 的 马尔 可 夫 链 部 分 即 是 在 该 书 的 基础 上 
修改 而 成 的 .选取 更 新 过 程 ,主要 是 由 于 它 应 用 的 广泛 性 ,也 考虑 到 可 以 用 较 直 观 的 条 件数 学 其 
望 讲述 它 的 理论 .这 部 分 内 容 也 是 在 作者 多 年 使 用 的 讲义 基础 上 写成 的 . 

与 概率 论 一 样 ,随机 过 程 有 着 广泛 的 直观 背景 ,因此 我 们 十 分 强调 解释 结果 的 直观 意义 ,并 
且 给 出 了 众多 的 应 用 例子 .这 是 讲述 随机 过 程 理论 十 分 有 利 的 一 面 .考虑 到 数学 专业 的 学 生 使 用 
的 需要 ,与 一 般 的 数学 教科 书 一 样 ,本 书 遵循 数学 理论 的 严谨 性 原则 . 选 讲 的 内 容 在 理论 上 是 完 
整 的 .封闭 的 ,包含 了 全 部 主要 的 结论 及 其 证 明 .这 有 利于 让 学 生 了 解 所 讨论 问题 的 全 氏 及 实质 ， 
学 会 系统 地 解决 问题 的 思路 与 方法 .事实 上 ,许多 应 用 工作 者 也 不 欢迎 那 种 内 容 显 得 支离破碎 ， 
证 明 经 常 略 去 ,只 是 堆砌 一 大 推定 义 与 定理 的 随机 过 程 教材 .这 也 许 是 不 少 声称 面向 应 用 的 随机 
过 程 教材 不 太 受 欢迎 的 一 个 重要 原因 .为 应 用 目的 而 选用 本 书 的 读者 可 以 放心 地 按照 自己 的 实 
际 情况 , 略 过 理论 性 较 强 的 内 容 及 证 明 . 尽 管 本 书 主 要 是 为 课堂 教学 编写 的 ,由 于 论述 与 说 明 比 
较 详 细 ,也 适合 于 自学 .事实 上 ,并 非 书 中 所 有 的 内 容 都 必须 在 课堂 上 讲解 .教师 只 需 讲授 最 重要 
的 结论 与 例子 ,余下 部 分 留 作 参考 ,或 让 学 生 自行 阅读 . 

为 了 使 学 生 一 开始 就 对 随机 过 程 有 具体 的 了 解 ,我 们 在 作为 引 论 的 第 一 章 中 就 讲述 了 最 基 
本 的 两 类 随机 过 程 : 伯 努 利 过 程 与 泊 松 过 程 .第 二 章 是 离散 时 间 马 尔 可 夫 链 的 初等 理论 .在 已 知 
转移 概率 算 阵 的 条 件 下 ,对 马尔 可 夫 链 作 全 面 的 分 析 , 包 括 状态 的 分 类 ,状态 性 质 的 判别 , 求 吸 收 
概率 .平均 吸收 时 间 和 平稳 分 布 等 等 .学 习 这 一 章 只 需 有 微 积分 的 准备 即 可 .在 本 章 中 比较 充分 
地 展开 与 运用 了 我 国 概率 论 学 者 惯用 的 非 负 系数 线性 方程 组 的 最 小 解 方 法 .第 三 章 连 续 时 间 马 
尔 可 夫 链 集中 讲述 规则 链 的 理论 . 作 这 样 的 选择 ,一 方面 是 因为 可 以 用 初等 方法 完整 地 展开 理 
论 , 另 一 方面 对 于 应 用 来 说 它 已 经 足够 了 ,因为 在 实际 应 用 中 过 到 的 都 是 规则 链 . 第 四 章 是 更 新 
理论 .我 们 强调 了 更 新 技巧 的 运用 ,这 个 方法 是 十 分 有 用 的 ,也 是 比较 容易 学 会 的 .为 了 使 本 书 的 
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内 容 尽 可 能 地 接近 随机 过 程 的 现代 理论 ,我 们 引进 了 停 时 的 概念 ,但 不 作 深入 的 展开 ;在 马尔 可 
夫 链 的 转移 概率 的 极限 定理 与 更 新 定理 的 证 明 中 使 用 了 耦合 方法 ,避免 了 很 难看 出 概率 意义 的 
纯 分 析 的 证 明 , 但 这 也 只 是 给 与 读者 概率 论 方法 的 十 网 ,并 非 要 求 读者 立刻 学 会 使 用 这 个 方法 . 
掌握 马尔 可 夫 链 及 更 新 过 程 的 基本 理论 足以 应 付 应 用 随机 过 程 的 初步 需要 . 书 末 附 有 中 文 参考 
书目 , 列 入 适合 本 书 读者 参考 的 不 用 测度 论 的 随机 过 程 的 教材 ,没有 收入 要 用 测度 论 的 随机 过 程 
的 书籍 . 人 

本 书 的 编写 得 到 了 国内 同行 的 热情 鼓励 与 支持 ,得 益 于 汪 嘉 冈 教授 的 随机 过 程 讲义 ,在 此 一 
并 致谢 .一 套 可 读 可 教 的 从 初等 入 门 到 现代 前 沿 水 平 的 .系列 的 随机 过 程 的 教材 是 作者 多 年 来 
所 梦 哄 以 求 的 .期 望 ,也 许 是 奢望 本 书 成 为 贡献 给 这 一 宏大 工 程 的 一 块 垫 脚 石 . 


作 者 
1997 年 7 月 于 上 海 
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第 一 章 3 引 论 


$1.1 什么 是 随机 过 程 


现实 世界 中 的 许多 现象 是 随时 间 的 进展 而 变化 与 发 展 的 ,这 些 现象 通常 即 称 之 为 过 程 . 例 
如 ,质点 的 运动 过 程 就 是 最 普通 的 过 程 的 例子 .假设 一 个 质点 在 直线 上 运动 , 它 的 位 置 随时 间 而 
改变 .数学 上 ,质点 的 位 置 可 表示 为 时 间 1 的 函数 X(z). 通 常 假定 质点 是 在 一 个 确定 的 力 的 作用 
下 运动 的 , 则 表示 运动 过 程 的 函数 X(t) 也 是 完全 确定 的 .如 果 质 点 是 在 一 个 随机 的 力 ( 它 由 各 
种 偶然 因素 所 形成 ) 的 作用 下 ,那么 质点 的 运动 也 是 随机 的 . 换 句 话说 ,在 时 刻 t 质点 的 位 置 
X(t) 不 再 是 一 个 确定 的 数 ,而 是 一 个 随机 变量 . 这 样 ,我 们 就 得 到 一 族 无 穷 多 个 随机 变量 
1X(z),t 之 01( 取 初始 时 刻 为 1=0), 它 描述 了 随机 的 运动 过 程 .这 样 的 例子 还 可 以 举 出 很 多 . 例 
如 ,在 一 条 生产 线 上 ,我 们 对 产品 逐个 进行 检查 ,以 N(z) 表 示 一 天 从 开工 (+t =0) 到 时 刻 1 累计 
的 次 品 数 ,或 者 在 一 个 电话 交换 站 里 ,以 Ni) 表示 一 天 从 上 班 (:=0) 到 时 刻 t 为 止 接 到 的 呼叫 
次 数 ,那么 {N(t),0 志 :三 a 就 是 一 族 随 时 间 而 变化 的 随机 变量 , 它 描述 了 次 品 数 或 呼叫 数 累积 
的 过 程 .再 如 在 保险 公司 里 ,以 R(n) 表 示 从 年 初 到 第 n 天 里 累计 的 因 火 灾 而 付出 的 赔偿 .在 气 
象 观测 站 里 ,以 T(n ) 表 示 一 年 中 第 n 天 的 平均 温度 . {R(n),1 过 n 志 Ni} 或 {T(n),1n 志 NN| 
都 是 一 族 随 时 间 的 进展 而 变化 的 随机 变量 ,只 是 这 里 的 记录 不 是 按时 间 连 续 地 进行 的 ,而 是 按 一 
个 个 时 间 单元 而 记录 的 .所 以 ,我 们 通常 得 到 的 是 一 列 随机 变量 , 它 描 述 了 赔偿 的 累计 过 程 或 气 
温 的 变化 过 程 .总 之 ,随时 间 的 进展 而 变化 与 发 展 的 随机 现象 就 自然 地 被 称 为 随机 过 程 . 

现在 给 出 随机 过 程 的 数学 定义 . 

定义 ” 设 对 每 个 :€E 丁 ,X(i) 为 一 个 随机 变量 , 则 随机 变量 族 久 = |X(1),t: ETi 称 为 随机 
过 程 ,z 称 为 X 的 指标 或 参数 , 丁 为 指标 集 或 参数 集 . 

随机 过 程 的 指标 集 T 可 以 是 任意 的 集合 ,但 通常 是 数 直 线 的 某 个 子 集 , 即 指标 代表 时 间 ,在 
本 课程 里 就 是 如 此 .当下 为 可 列 集 N = 10,1,2…} 或 2 =|j…, 一 1,0,1,…| 时 ,随机 过 程 X 称 为 
离散 时 间 ( 参 数 ) 的 .离散 时 间 的 随机 过 程 也 称 为 随机 序列 . 若 T=[a,b] 时 (a,b 可 以 是 有 限 或 
无 限 的 实数 ) , 称 随机 过 程 X 为 连续 时 间 ( 参 数 ) 的 . 

X= |X(t),tE TI 这 族 随机 变量 ,可 能 取 到 的 值 称 为 随机 过 程 的 状态 ,状态 的 全 体 下 称 为 
随机 过 程 X 的 状态 空间 或 相 空间 .当下 为 可 列 集 {zoyvzi,…,z,，… 小 时 , 称 X 为 离散 状态 的 .这 
时 每 个 随机 变量 X(z) 都 是 离散 型 随机 变量 . 当 X 不 是 离散 状态 时 , 则 称 X 为 连续 状态 的 . 

当 我 们 对 随机 过 程 X= {X(i),zE Ti 作 观 察 时 ,对 每 个 上 得 到 X(z) 的 一 个 观察 值 ,因而 得 
到 的 是 : 的 一 个 函数 ,这 个 函数 称 为 X 的 一 个 样本 函数 或 一 条 轨道 . 若 作 多 次 观察 ,由 于 随机 
性 ,可 能 得 到 不 同 的 样本 函数 . 换 句 话说 ,观察 到 什么 样 的 样本 函数 是 随机 的 .因此 很 自然 地 , 随 
机 过 程 也 称 为 随机 函数 .随机 函数 X 在 :点 的 值 就 是 随机 变量 X(t). 

随机 过 程 的 指标 集 T 也 可 以 是 两 维 或 维 数 更 高 的 集合 . 例如 在 研究 海洋 波浪 时 ,将 某 海域 
看 作 一 个 平面 区 域 D, 以 X(z,y,ti) 记 时 刻 上 在 坐标 为 (z,y) 的 点 处 的 海浪 高 度 ,那么 和 = 

-1 . 


iX(zx,y,1),(z,y)ED,t 之 0 是 有 三 维 指标 集 的 随机 过 程 ,指标 集 TT 为 Dx [0,ce). 指 标 集 是 
两 维 或 维 数 更 高 的 集合 的 随机 过 程 称 为 多 指标 随机 过 程 或 随机 场 ( 把 指标 向 量 解释 为 空间 中 点 
的 坐标 向 量 ). 本 课程 将 不 涉及 多 指标 随机 过 程 . 

同样 地 ,随机 过 程 X 的 状态 空间 E 也 可 以 是 4d 维 空间 Ra 的 子 集 , 即 对 每 个 1,X(1)= 
(X1(t),X2(z),… ,Xu(i)) 是 d 维 随机 变量 .这 时 六 = |(X1(7),X,(1),…, X(t)),zET| 称 
为 a 维 随机 过 程 , 它 的 每 个 分 量 是 一 维 随机 过 程 X = {Xi(z) ,1 ET| ,k=1,2,…,d. 除 非特 别 
指明 ,本 课程 只 讨论 一 维 随机 过 程 . z 

在 概率 论 课程 中 我 们 知道 ,一 个 随机 变量 的 概率 统计 特性 由 它 的 分 布 函数 决定 ,多 维 随机 变 
量 的 概率 统计 特性 由 它 的 联合 分 布 函数 决定 .由 于 随机 过 程 实 际 上 是 无 穷 多 个 随机 变量 ,因此 必 
须 用 全 部 可 能 的 有 限 维 联合 分 布 函数 来 决定 它 的 概率 统计 特性 . 对 任意 的 正 整 数 ”之 1, 任 取 指 
标 集 全 中 个 不 同 的 指标 t,ts，… ,1,, 称 


Ft (Tl Tr29""" ,Tn) = PX)Ez1, X(t Sz, X(t ) Er,) 
为 随机 过 程 X 的 一 个 有 限 维 (n 维 ) 分 布 (注意 ;我 们 使 用 右 连 续 的 分 布 函 数 ). 变化 nn 及 14， 
t2，,…,t, 所 得 到 的 有 限 维 分 布 全 体 称 为 随机 过 程 X 的 有 限 维 分 布 族 .随机 过 程 的 分 布 就 是 指 它 
的 有 限 维 分 布 族 . 

在 概率 论 课程 中 我 们 也 知道 ,5 可 以 用 随机 变量 的 数字 特征 来 描述 随机 变量 的 概率 统计 特性 ， 
如 数学 期 望 方差 与 协 方差 等 . 对 于 随机 过 程 ， 也 同样 可 以 讨论 它 的 数字 特征 . 

若 所 有 X() 的 数学 期 望都 存在 ， 则 称 


m(t)= ELX(1)], :ET 
为 随机 过 程 X 的 均值 函数 . 若 所 有 X(t) 的 方差 都 存在 , 则 称 
C(t1,s)= E[(X(2)— m(t))(X(s) -mm(s))], 1,sET 


为 随机 过 程 X 的 协 方差 台 数 . | 

例 1.1 正 态 过 程 ”随机 过 程 X=1iX(i),zETi 称 为 正 态 过 程 , 若 它 的 一 切 有 限 维 分 布 是 
正 态 分 布 .与 正 态 随机 变量 相似 , 正 态 过 程 的 分 布 由 它 的 均值 函数 及 协 方差 函数 完全 决定 , 正 态 
过 程 也 是 实际 应 用 中 最 常 遇 到 的 随机 过 程 之 一 ， 口 

例 1.2 平稳 过 程 ”随机 过 程 X={X(C)， 1 之 0| 称 为 (严格 ) 平 稳 过 程 ， 着 对 切 n 宇 1,t1<< 
t2< 人 >0,(X(E1),X(t2),… ,X(t )) 的 分 布 与 (X(t +z) ,X(t2+1),…, 义 (1, +1)) 的 
分 布 相 同 , 即 X 一 切 有 限 维 分 布 对 时 间 的 推移 保持 不 变 .这 时 可 取 任 一 时 刻 * 作为 初始 时 刻 , 而 
过 程 X49) = {1X,;,,t 之 0 的 分 布 与 和 .的 分 布 仍然 相同 .特别 ,X 的 一 维 分 布 , 即 X(z) 的 分 布 与 
时 间 z 无关;(XX(z),X(s)) 的 二 维 分 布 只 依赖 于 :一 s. 

从 数学 讨论 方便 的 角度 出 发 ,平稳 随机 过 程 的 指标 集 应 更 合理 地 取 为 ( - co , + oo) 或 全 体 整 
数 (离散 时 间 情 形 ) ,因为 这 时 时 间 的 推移 既 可 以 是 正 的 ,也 可 以 是 负 的 .然而 从 实际 应 用 的 角度 
看 ,要求 追溯 到 无 穷 的 过 去 有 点 不 太 现实 . 口 

例 1.3 独立 增 最 过 程 随机 过 程 X= |X(z)， />>01 称 为 独立 增 量 过 程 ， 若 对 一 切 ”之 1,0 
to <i,, 

. 2 . 


X(t0), X(t1) — X(t0), X(t2) — XH), ,X(t )— X(t,1) 


相互 独立 . 若 对 一 切 0 和 *< 上 , 增 量 X(i) 一 X(s) 的 分 布 只 依赖 于 t - s, 则 称 X 有 平稳 增 量 .有 
”平稳 增 量 的 独立 增 量 过 程 简称 为 独立 平稳 增 量 过 程 . . 
.着 ;入 = 1X(n),n 之 0} 是 离散 时 间 的 独立 增 量 过 程 , 令 


£(0)=X(0), é(n)=X(n)—- X(n—1),n>1, 


则 {E(x),n 宇 01 是 一 列 独立 随机 变量 .因此 ,离散 时 间 的 独立 增 量 过 程 就 是 独立 随机 变量 部 分 
和 .不 难看 出 ,这 时 X 有 平稳 增 量 等 价 于 |&(n),n 之 1| 同 分 布 .独立 同 分 布 一 般 简写 为 i.i.d.. 
口 
为 了 让 初学 的 读者 先 接触 一 点 随机 过 程 的 具体 材料 ,在 这 章 引 论 的 下 两 节 中 ,我 们 分 别 介绍 
两 个 常见 而 又 简单 的 随机 过 程 : 伯 努 利 (Bernoulli) 过 程 与 泊 松 (Poisson) 过 程 . 


习 题 
Ll 设 为 一 非 负 随 机 变量 ,分 布 函 数 为 FF. 令 
X,=min(é€,1), i 之 0. 


求 X= |X,,t 之 0| 的 有 限 维 分 布 . 
1-2. 设 C(t,s) 为 随机 过 程 X= |X(z),iET| 的 协 方差 函数 .证 明 : 
(1) 对 称 性 :C(z,s)=C(s,t)， 1,sET; 
(2) 非 负 定性 ;对 任意 正 整 数 nn 守 1,t1,t2，,…,t, 及 实数 al,a,,… ,a,， 


>) anaC (ti,t;)20. 
j= 


1 一 3. 正 态 过 程 久 二 |XX(1),t 之 0] 是 平稳 过 程 的 充 要 条 件 为 外 的 均值 函数 m(i) 是 常数 ， 
协 方差 函数 C(1,s)=R(i 一 ss) 只 依赖 于 1 一 s. 

1 一 4. 设 和 =|XCr),tZ0|I 为 零 均值 平稳 独立 增 量 正 态 过 程 , 且 X(0)=0. 写 出 X 的 有 限 
维 分 布 族 . 

$1.2 伯 努 利 过 程 
定义 ”随机 过 程 X = |X, ,nn 之 1| 称 为 伯 努 利 过 程 , 若 {X, ,n 之 1 为 i.i.d. 随 机 变量 序列 , 且 
P(X,=1)=p, P(X, =0)=g=1*p, 0<p<1, 2 之 1. 

伯 努 利 过 程 X= {1X, ,nn 之 11 的 状态 空间 为 10,11 ,指标 集 为 {1,2,…1. 伯 努 利 过 程 是 最 简 

单 , 又 最 常见 的 随机 过 程 .例如 ,在 装配 线 上 对 产品 进行 检验 . 令 


_ | 第 n 件 是 次 品 ， 
0, 第 2” 件 是 好 品 . 


当 各 件 产品 是 好 是 次 互 不 相关 时 ,|X,| 就 是 伯 努 利 过 程 . 又 如 对 通过 十 字 路 口 的 车 辆 进行 观测 ， 
令 


XX 


。 了 ， 


_ |0, 第 ”部 车 辆 直 走 ， 
的 1, 第 ”部 车 辆 转弯 ， 


则 {X, ,2 之 1 也 可 被 假定 是 一 个 伯 努 利 过 程 . 伯 努 利 过 程 描述 了 一 列 独立 重复 试验 ,通常 把 事件 
1X, = 11 称 为 第 ”次 试验 成 功 ,把 事件 {X, =01 称 为 第 ”次 试验 失败 .每 次 试验 成 功 的 概率 为 
.各 次 试验 相互 独立 . 

设 针 = |X ,2 之 1 为 伯 努 利 过 程 . 令 


No=0， N= 2 %, n 之 1. ~ (1) 
则 在 概率 论 中 熟知 ,n 之 1 时 。 
P(N,=k)=Ctpig" *, 0k<n, 
ELN,]= np, ep 
事实 上 ,N= |NN, ,nE€ Ni 是 平稳 独立 增 过 程 . 增 量 N, 一 和 NN, (n1<n2) 与 N。_ 。 同 分 布 . 
定理 2.1 设 {X,,n 之 1| 为 i.i.d. 随 机 变量 序列 ,E |Xi|<%,r 为 一 取 正 整数 值 的 随机 变 
量 ,Er<%, 且 对 一 切 n 之 1, {r=n| 与 1X,+1,X,+2,…| 相 互 独立 , 则 E| 之 ，X|<co, 且 
E {Xi+X,+:…+X,}=Er EXi. (2) 
证 先 设 X, 之 0,2 之 1. 


oo 3 oo oo 
E [Xi 二 十 和 = 2 2 E [1 = = > >3 E { X 1 
k=1 n=1 n= k=n 
= 2 ElX,1 ,sn = 2) EX,P(r2n)= Er EXi. 
E . n=] n=1 
这 里 我 们 用 .14 记事 件 A 的 示 性 随机 变量 : 
1, 车 事件 A 发 生 ， 
0, 若 事 件 A 不 发 生 . 


由 于 上 面 的 级 数 是 正 项 级 数 ,因此 两 个 求 和 号 可 以 交换 .又 由 于 |r 宇 ni} 是 {rn 一 1} 的 逆 事 件 ， 
因而 由 假设 与 X, 独立 , 故 得 第 四 个 等 式 . 
将 上 面 证 得 的 结果 用 于 {X+ = max(X,,0),n 之 1 及 [Xi =max( 一 义 , ,0),n 之 1| 可 得 


1a= 


E {Xi +:…+X+}=Er EXi, 
E {Xi+ + XI=ErEXi. 
将 上 两 式 相 减 即 得 (2) ,因为 X,=X+ 一 X7 口 ” 

(2) 式 通常 称 为 瓦尔 德 (Wald) 等 式 . 它 解决 了 求 一 类 随机 个 i.i.d. 随 机 变量 和 的 数学 期 望 的 
问题 ,是 一 个 有 力 的 研究 工具 .在 定理 2.1 中 ,车 又 有 Xi>>0, 由 证 明 可 看 出 ,没有 条 件 E r< co 时 
(2) 式 仍 成 立 , 且 E[ > ，X]< oo 当 且 仅 当 Er< oo. 

定义 “ 设 给 定 随机 序列 X= {X, ,1 为 一 一 个 取 正 整数 值 (包括 + om) 的 随机 变量 ， 车 对 

. 4 . 


一 切 n 之 1, 事 件 {r = n1 是 否 发 生 由 (Xi,…,X,) 取 的 值 确定 , 则 称 r 为 X 的 停 时 . 停 时 是 停止 时 
. 间 的 简称 . 
推论 设 X=|X,,n 之 1} 为 i.i.d. 随 机 变量 序列 ,E |Xi| < co,r 为 X 的 停 时 , Er< oo , 则 


El 2 XI<o, 且 
E {Xit+X,+…+X,}= Er EXi. 


证 只 需 注意 ,对 一 切 n 之 1, 事件 [|r = ni 是 否 发 生 由 (Xi,…,X,) 取 的 值 确定 ,从 而 与 
和 X,+1;, 闵 ,+2，… | 独立 ,满足 定理 2.1 的 假设 ， 口 

停 时 是 近代 概率 论 与 随机 过 程 理论 的 重要 概念 之 一 ,也 是 经 常 遇 到 的 研究 对 象 . 例如 , 设 
X = |X, ,2 之 十 为 伯 努 利 过 程 , 则 首次 成 功 的 时 刻 


Ti1=inf{fn 之 1:X,=1| (3) 
就 是 X 的 停 时 ,因为 
IT1=1|= {X=1|, (Ti nt= X00 nn 之 2. 
我 们 约定 , 空 集 的 下 确 界 为 + co .这 是 合理 的 .例如 在 定义 (3) 中 ,|n 汪 1:X, = 二 是 空 集 表示 试验 
一 直 失 败 ,首次 成 功 的 时 刻 自然 应 定义 为 + co .更 一 般 地 ,第 次 成 功 的 时 刻 
Ti=inf{n>1: N, =k|, kk 之 1 (4) 
也 是 停 时 ,因为 
{T=ki=IN.=k}, {Ti =n!l= {Ni<k,,N,_1<k,N,=k|, n>k+1, 
而 Ni1,…, NN, 的 值 完 全 由 Xi,…,X。 的 值 决定 . 停 时 是 一 个 富有 概率 论 特色 的 概念 , 它 的 引入 大 


大 加 深 了 随机 过 程 理论 的 研究 .下 面 的 定理 就 是 一 个 这 样 的 例子 . 
定理 2.2 设 X= 1X,,n 之 1 为 i.i.d. 随 机 变量 序列 ,yr 为 X 的 停 时 , 且 P(r<eo)=1. 令 


Y, = X,+.,, n 之 1， 


则 Y= |Y,,n 之 1 与 X= {X。 ,2 之 二 同 分 布 , 且 与 (r ,Xi,…,X,) 相 互 独立 . 
证 假设 X 的 分 布 函 数 为 下 ,对 任意 7 71 之 1 及 实数 Tl Tr V1 yy 


P({XiSzxi,, Xr r=! | YiS<y1 ,Yn yn!) 
=P(XI 委 zi,X Sr, ,r= nN 六 上 
=PLXI 委 ZX =7)P(X Sy, Xn yy ) 
=P(Xi<z1,, XEza sr = nn) Fy1) FF(y,). (5) 


在 (5) 式 中 令 所 有 的 z1,…,z, 都 趋 于 正 无 穷 ,然后 对 所 有 的 n 之 1 相 加 可 得 
P(YiSy ,Ya 委 因 ) = Fy1)F(y,). 
这 即 表明 Y= |Y, ,n 之 1| 为 i.i.d. 序 列 , 且 与 X 同 分 布 .现在 (5) 式 就 是 


P({XISzr1 ,Xz r= nN {YI Sy YS ym}) 


二 P(XIz1 ,XT sr 二 n)Pp(l YI y1 ee YS yn ). 


这 即 表明 Y 与 +,X1,…,X, 相互 独立 ， 口 

设 |X,,n 这 1} 为 i.i.d. 随 机 变量 序列 .我 们 原来 只 知道 ,对 固定 的 时 刻 n, | X1,…,X,| 与 
{XX +1， 关 ,+2，… | 相互 独立 , 且 |XX, ;1, 闵 12,"…| 与 1X1, 义 ，,…| 同 分 布 .定理 2.2 告诉 我 们 ,对 
的 有 限 停 时 + 这 些 性 质 仍然 保持 ,特别 ,|X, ,1,X, ;2,…| 与 1X1, 义 ，,…| 同 分 布 表明 ,在 r 之 后 ， 
随机 序列 又 恢复 原来 的 概率 统计 特性 .例如 ,对 于 伯 努 利 过 程 ,在 得 到 首次 成 功 之 后 ,就 好 像 独立 
重复 试验 又 从 头 开始 一 样 .直观 上 ,人 们 很 容易 接受 这 个 结论 .但 是 首次 成 功 的 时 刻 是 随机 的 时 
刻 , 这 个 结论 并 不 显然 ,并 非 在 任何 的 随机 时 刻 之 后 ,独立 重复 试验 都 与 从 头 开始 一 样 . 

若 停 时 ， 可 能 取 + co 值 ,那么 从 (5) 式 我 们 得 到 的 是 

P(r< oo ,号 委 31 Yayn)= P(r< oo)F(y)" Fyn), 
PO(YIS<y ,Yay |r< 0)=F(y) FF(y,), 


即 在 >< oo 的 条 件 下 ,了 Y= | Yi，… Yu 的 条 件 分 布 与 X 的 分 布 相同 .事实 上 ,Y 只 有 在 1r< 
co} 的 条 件 下 才 有 定义 . 


”定理 2.3 设 针 = |X,,n 宇 1 为 伯 努 利 过 程 ,TT 为 第 & 次 成 功 的 时 刻 ( 由 (4) 定 义 ) . 令 
Wi=T, W,= T,— T,-1; 2 (6) 


则 | W,,n 之 1| 为 i.i.d. 随 机 变量 序列 , 且 共 同 分 布 为 几何 分 布 : 


P(W,=k)= pq ， kk 之 1. (7) 

ZT 服从 由 斯 不 (Pascat) 分 布 ， 
TD=CEleg > (8) 
和 Ee VarT = (9) 


证 我 们 熟知 ,首次 成 功 时 刻 Wi = Ti 服从 几何 分 布 : 
| P(Wi=k)= pq “，k 之 1. 


不 难看 出 ，W; 是 XC) = {Xr +nxn 之 十 的 首次 成 功 时 刻 ;W2+… + Wi,k 之 2 是 XX 的 第 一 1 
次 成 功 时 刻 .由 定理 2.2,Wi 与 .X 吕 独立 ,X 人 2 与 .X 同 分 布 ,因此 Ws 也 服从 几何 分 布 (7), 且 
Wi 与 1W， W3，… 小 相互 独立 ,一般 地 ,对 n 之 2,W, 是 X'”= |XT +4,k 之 1| 的 首次 成 功 时 刻 ; 
W,+… + Wk 之 n 是 X(" 的 第 一 n +1 次 成 功 时 刻 .由 定理 2.2,(Wi,…,W-1) 与 X(" 独 
立 ,X(" 与 XX 同 分 布 ,因此 W, 也 服从 泊 林 分 布 (7), 且 (Wi,…,W,-1) 与 {W,,W,+1,…1 相 互 
独立 .总 之 ,| W, ,n 之 1| 为 独立 同 几何 分 布 (7) 的 随机 变量 序列 .最 后 , T, 是 n 个 独立 同 几 何 分 
布 随机 变量 之 和 , 故 服从 帕斯卡 分 布 (8). 又 E Wi=1/p,VarWi=g/p”, 故 (9) 成 立 。 口 
定理 2.3 提供 了 ,对 伯 努 利 过 程 文 = |X,n 之 1} ,由 (1) 定 义 的 平稳 独立 增 量 过 程 N 的 新 的 
构造 ;从 一 列 独立 同 几何 分 布 (7) 的 随机 变量 | W,,m 之 1 出 发 , 作 T = Wi+… + W,,n 之 1 及 
。 6 


0 ， n<Tl, 
N, = (10) 
k, Tn< Tl, k 宇 1. 


| Wj 通常 称 为 伯 努 利 过 程 的 等 待 时 间 序 列 , 因 为 W, 是 等 待 第 n 次 成 功 出 现 的 时 间 . 我 们 知道 ， 
”几何 分 布 具有 无 后 效 性 , 即 对 任意 非 负 整 数 ,mm， 

P(W,>k+m|W,>k)=P(W,>m). (11) 
这 无 后 效 性 与 伯 努 利 过 程 的 独立 同 分 布 性 相 联 系 .事实 上 不 难 证 明 , 一 个 只 取 正 整数 值 的 随机 变 


量 若 具 有 无 后 效 性 (11) ,其 分 布 必 为 几何 分 布 . 
定理 2.4 设 T 为 伯 努 利 过 程 X = |X, ,n 之 11 的 第 次 成 功 的 时 刻 ,& 之 1, 数 列 | f(n)， 


n 之 11 满 足 2 ,1f(n)|<%, 则 
E[2 f(T)]=p 2 fn). (12) 
证 注意 到 
f(T)= AD Xt + f(TI -IDXr -1+ fT) XY, 


fT)= fT tI XT rte+t f(T -1) Xr -+ f(T) Xr, 


E [> F(T)]= E [2 f(n)X, | = 2 f(n)E[X,]=p > (7). 国 


例 2.1 设 在 每 一 时 间 单 元 内 ,一 仪器 内 某 元 件 损坏 与 否 构成 一 个 伯 努 利 过 程 ,损坏 后 替换 
一 个 新 的 元 件 耗费 c 元 .为 使 仪器 有 元 件 损坏 时 ,用 户 能 享受 免费 调换 , 厂 方 在 卖 出 产品 时 多 收 
些 费 用 , 留 作 保 修 费 .考虑 到 ,现在 投资 1 元 ,到 下 一 个 时 间 单 元 可 增值 为 1/a 元 (a<1). 问 为 保 
证 该 仪器 长 期 使 用 , 厂 方 在 卖 出 产品 时 ,平均 应 多 收 多 少 费 用 ? 

解 以 N, 表示 到 时 刻 n 损坏 的 元 件 总 数 . T 由 (4) 定 义 .在 时 刻 T, ,第 & 次 损坏 了 一 个 元 
， 件 .为 调换 这 一 元 件 ,开始 售 出 时 应 多 收 cam 元 (到 时 刻 T 这 些 钱 恰 增值 为 c 元 ). 因 此 ,调换 全 


部 损坏 的 元 件 应 多 收 D= 之 )，，can 元 ,利用 定理 2.4, 其 平均 值 为 


ED= > E (ca ) = cb 2 Ll] 
k= k=1 


a 
习 题 
2 一 1. 设 给 定 随 机 序列 X= [XX ,nn 之 1} .ri,rz 为 义 的 两 个 停 时 .证 明 : 


max(rliyr2)， tmin( ri ,r> ) ， rit+ry 


均 为 停 时 . . 
2 一 2. 设 久 = |X,,n 之 1| 为 一 列 独 立 同 (0,1) 上 均匀 分 布 的 随机 变量 ,dE (0,1), 则 


T=infin 守 1:X, 之 d| 


为 义 的 停 时 ,并 求 E TT, E X7. 
2 一 3. 设 祥 = |X,,n 之 1| 为 一 列 独立 同 (0,1) 上 均匀 分 布 的 随机 变量 , 则 


=inf{n 守 1: Xi1+… + XX, 守 1| 


2 一 4. 设 1X,,7Z1 为 ii.d. 随 机 变量 序列 ,EXI=0,EXi<co,r 为 X 的 停 时 ,Er< oo， 
则 


E {Xi1+ XX,+.…+ XX,|:= Er EX?. 


2-5. 设 |X,,n 之 lHi.i.d., 且 
Se i 
P(X,=1)=P(X,= -1)=7. 


设 工 为 1X, ,nn 之 1| 的 停 时 . 令 


a 

令 S, = XI1+… 十 久 ,, W, = Yi 十 … 十 ,nn 之 1, 则 S={S,,n 之 1| 与 W=|W,,n 之 1| 的 轨 
道 到 时 刻 工 为 止 是 相同 的 ,在 工 之 后 ,网 的 轨道 是 S I Sr 的 反射 .本 题 的 
0 

-6. 设 和 = |X,,n 之 1} 为 伯 努 利 过 程 ,每 次 试验 成 功 的 概率 为 p,N, = Xi+… + XX,， 


n 之 1, No ==0, 则 对 任意 满足 少 )”_。|f(n)|<% 的 数列 |f(n),n 之 1| 有 


oo 


E [> f(N,)]= 过 


§1.3 泊 松 过 程 


; 定义 ”随机 过 程 N= {N(z),t 之 0 ,N(0)=0 称 为 计数 过 程 或 点 过 程 , 若 其 样本 函数 以 概 

率 1 为 只 取 非 负 整 数 的 右 连续 单调 增加 函数 .对 计数 过 程 N, 若 AN(z)= N(zi)- N(t ) 委 1, 则 
称 N 为 简单 的 ,这 里 N(z- ) 是 N 在 i 点 的 左 极限 .事实 上 ,计数 过 程 的 样本 函数 是 从 零 开 始 的 
路 度 为 正 整数 的 阶梯 函数 ,简单 性 意味 着 阶梯 函数 的 跃 度 只 是 1. 

若 用 N(z) 表 示 某 电话 交换 台 在 时 间 区 间 (0,z] 中 接 到 的 电话 呼唤 的 累计 次 数 , 则 NN = 
IN(z),t 之 0} 就 是 计数 过 程 ,对 电话 呼唤 次 数 进行 累计 的 计数 过 程 .这 也 就 是 计数 过 程 的 名 称 的 
由 来 .对 0 人 s<<1,N(z) 一 N(s) 就 表示 在 (s ,zj] 中 发 生 的 电话 呼唤 次 数 . AN(z) 表 示 这 种 随机 事 
件 在 时 刻 t 发 生 的 呼唤 次 数 .AN(t) = 即 表示 在 时 刻 上 发 生 了 有 次 呼唤 . 

计数 的 对 象 不 仅仅 是 来 到 的 电话 呼唤 ,也 可 以 是 到 某 商 店 的 顾客 数 ,到 达 某 机 场 降 落 的 飞机 
数 , 某 放射 性 物质 在 放射 性 晓 变 中 发 射出 的 a 粒子 数 ,一 次 比赛 中 的 进 球 数 , 某 医院 中 出 生 的 婴 
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儿 数 等 等 .总 之 ,对 某 种 随机 事件 的 来 到 进行 计数 都 可 得 到 一 个 计数 过 程 ， 而 同一 时 刻 只 能 发 生 


一 个 来 到 的 就 是 简单 计数 过 程 ， 
因此 ,我 们 称 
| Ti=inf{t>0: N(1) 之 ki},， k>0 (1) 
.为 第 次 来 到 时 刘 . 对 简单 计数 过 程 则 有 
T=inflt>0: N(1:)=k|},， kk 之 1, (2) 
这 时 T 也 称 为 第 个 跳跃 时 刻 .为 方便 起 见 , 记 To=0. 我 们 又 称 


Wi;= TT, Ti1, k 宇 1 (3) 


为 第 & 个 等 待 时 间 , 第 一 1 次 来 到 之 后 等 第 & 次 来 到 所 需 的 等 待 时 间 . 计 数 过 程 N 也 可 以 用 
来 到 时 刻 序 列 | 工 ,k 之 1} 构 造 : 


N(1)= 2 1ir<n, i20 (4) 
k=1 
或 
WE 人 车 
tj)= 上 -一作 . 
k, TXi<T,,i ,kl1, 


由 于 Ti = Wi +… + Wi ,之 1, 计 数 过 程 N 也 可 以 用 等 待 时 间 序 列 | W, ,之 1| 通 过 (5) 构 造 . 
定义 ”计数 过 程 N= | N(z),z 之 0| 称 为 时 齐 泊 松 过 程 , 若 它 是 平稳 独立 增 量 过 程 , 且 增 量 
服从 泊 松 分 布 : 


PONG) = NGs)=8)= DE Too, 0<s<t, 4>0. (6) 


4 称 为 N 的 参数 或 强度 .时 齐 泊 松 过 程 一 般 简称 为 泊 松 过 程 . 
定理 3.1 泊 松 过 程 是 一 个 简单 计数 过 程 ， 


证 ” 当 ?2 一 co 时 
Pi 存在 ;sE(0,i] 使 AN(s) 过 2| 
<P(UIN (#1)-N (Ss >21) 
> P(N (和 )-N (St )>2) 
2 人 
O(zx) 





这 里 '-O(z) 表 示 为 有 界 量 . 因此 


zx 


P| 对 一 切 s€(0,:],AN(s) 志 11=1， 
PI 对 一 切 ;>0,AN(s) 志 11=1， 口 


”定理 3.2 设 N={N(z),i 之 0} 是 不 恒 为 零 的 简单 计数 过 程 ,又 是 平稳 独立 增 量 过 程 , 则 N 
的 增 量 必 服 从 泊 松 分 布 , 即 N 为 泊 松 过 程 . 
证 我 们 先 证 


P(N(#)=0)=e *, A4>0. (7) 


令 f(t)=P(N(zt)=0),t 之 0. 由 于 {N(tz+s)=0}={N(s)=0iN{N(t+s)-N(s)=01, 
s,t 之 0, 故 


f(z+5)=P(N(s)=0)PCN(i+5)-N(s)=0) ”( 增 量 独 立 ) 
=P(N(s)=0)P(N(:)=0) ”。“( 增 量 平稳 ) 
= f(s)f(2). z (8) 


f(z1) 二 0 或 f(t1)=e *,4 之 0. 


f(z ) 夺 0 是 不 可 能 的 ,否则 P(N(t+s) 一 N(s) 之 1)=1-f(i)=1, 从 而 对 任意 nn 之 1 取 0<ii< 
12<…<t 1<z 并 注意 到 


Ni)=(NC) 一 人 (二 -1))+(ONCGP iDD) 一 人 (iD)) 士 … 
+(N(t2)— N(t1)) + N(z1), 


得 P(N(t) 之 n)=1. 由 于 可 以 是 任意 的 ,所 以 可 得 P(N(t)= +%)=1. 这 是 不 可 能 的 .所 以 
只 能 是 Fi) =e “*“,4 之 0. 但 4=0 也 是 不 可 能 的 ,因为 f(z) 二 1 意味 着 NN 恒 为 零 . 
其 次 ,我们 证 明 


lim TP(N()>2)=0. (9) 


((9) 称 为 普通 性 .) 记 h(t)=P(N(z) 之 2),t 之 0, 则 h(i) 是 1 的 不 碱 函数 , 且 








h(i (E)/ 1 1 1 
0< t h | 2"+1 PTA 
所 以 为 证 明 (9) ,只 需 证 明 - 
/1 . 
lim2 |( 记 )=0. (10) 





记 A,= UN 人 ( 基 )- N( 2 )>21, 则 Au:iCA,,n>>1. 注 意 到 站 7- 1A。 是 不 可 能 事件 , 妈 
一 切 A, ,nz1 不 可 能 同时 发 生 ,因为 N 是 简单 的 ,只 要 充分 大 ,N{ 世 | -NI 
0 或 1 两 个 值 .所 以 ,P(A,) 一 0. 另 一 方面 ,由 平稳 独立 增 量 性 


er 人 (的 )-x( 和 < 


k-l 
27 





) 只 可 能 取 





-10 ， 


-Tv 信 )-x( 民 和 jc-D-s 伟 洒 ， 
注意 到 log(1+ 8) 委 8,9> -1 ,及 对 充分 小 的 上 有 产 (t)<1， 


0 之 - ca )>2" log[1- (关外 ]=log[1-P(A。)]， 


从 而 (10) 成 立 .因为 
| P(N(z)=1)=1-P(N(t)=0)-P(N(z)>2)=1-e * -h(t), 
故 由 (9) 得 


lm 二 P(N(z)=1)=》. (11) 


记 G(t,z)= E (zwo) = bp PCN(#)=7n)z",|z|<1, 则 


G(R EC EN 
二 E (NO)E (Nt) NO) = G(r,z)G(s ,2). 
又 因 0<G(i,z) 志 1,G(t,z) 对 z 是 不 增 的 ,所 以 G(#,z)=es'*). 又 由 (8),(9) 及 (11) 


1 Glt,z)-1 
Se 


= lim 1[p(NG#)=0)-1]+EPp(N(s)=1) +1 7 P(N(z)=&k)zt 


= -4+Az=A(z—1)., 





所 以 
G(,z) =en(s-D = > AY er, 
P(N(2)=n)= 人 eu， 
天 。 





即 N 的 增 量 的 分 布 为 泊 松 分 布 , 故 N 为 泊 松 过 程 。 口 
在 定理 3.2 的 证 明 中 ,我 们 实际 上 利用 了 概率 分 布 列 的 母 函 数 . 设 1p, ,n 之 0 为 一 概率 分 布 
列 , 称 
G(z )= 2 pe 9 |z| 委 1 
为 它 的 母 函 教 .显然 ,概率 分 布 列 与 其 母 函 数 是 一 一 对 应 的 . 若 随 机 变量 X 为 整 值 随机 变量 ( 即 
X 只 取 非 负 整 数值 ), 以 和 p, ,z 之 0 为 其 分 布 列 :P(X= 2) = p,, 则 
G(z)= E [xz*] 


也 称 为 X 的 母 函 数 .不 难 算得 
. 11 . 


EX=G’(1), EX:=G”(1)+G’(1). 
在 定理 3.2 的 证 明 中 ,我们 也 可 看 到 , 泊 松 过 程 的 强度 * 有 多 种 含义 : 
1) 单位 时 间 的 平均 来 到 数 
二 ELN(D)]= ELN()]=2; 
2) 样本 函数 的 平均 来 到 数 (由 强大 数 定律 得 ) 
lm N(t) = 2; 
3) 来 到 一 个 (或 至 少 一 个 ) 的 速率 (由 (9) 及 (11) 得 ) 


lim De hoe 


三 = lim 矿 P(N(t+h) 一 NI) 之 1)= 和信 


定理 3.3 设 N= |IN(4) ,1 之 0 为 泊 松 过 程 ,参数 为 4, 则 等 待 时 间 序 列 |W,,j 宇 1 为 i.i.d. 
随机 变量 序列 且 同 指数 分 布 


P(Wi>z)=e *, x>0. (12) 
来 到 时 刻 TT ,上 地 1, 服从 厂 (& ,4 ) 分 布 : 





PTS = | Dre ds, (13) 


证 任 取 之 1. 由 泊 松 过 程 的 简单 性 可 知 , (人,…, Ti) 的 取 值 范围 可 定 为 f(z1,…,z): 
0< ti<t< < . 当 0< ti<<it 时 ， 


P(T>#,1<IjSL)=P(N(t)<) -1,1<j;<k) 
3 3 P(NCG) = Nt2) -Ni  N(m)— N(am-1)=i) 


说 证实 二 ji 实 广 1 
1<j<h 
加 (CAtD) [At 一 二 )] 2 [alt bl Ea 
三 | i Ne € 4. (14) 
til 1° 2 A” 
l<j<k 


在 上 式 中 求 偏 导数 = 2 - ,左边 得 (Ti，…， Th ) 的 联合 分 布 密度 乘 以 ( 1)*. 考 察 右边 的 情形 ， 
0 


Be; 2 后 即 为 零 , 故 只 保留 i =0,i, = 


i2= 三 1 的 项 .此 时 is 可 取 为 0 或 1, 但 对 应 is 二 0 的 项 ee 
1,i3= 二 1 的 项 .依次 类 推 可 知 只 有 =0,i,=1,…， 认 一 1 的 项 求 了 .5s- 后 不 为 零 , 且 求 导 结 果 


是 (一 1)4Xe- 加 .由 此 ( 工 ,…, T;) 的 联合 分 布 密度 为 
. 12 . 


Me Mt, O0<ti<<h, 
0， 其 它 . 
由 于 五 = >)_， Wi;,j 之 1, 因 而 (Wi,…, Wi) 的 联合 分 布 密度 为 


/ri (0 ,te ) -1 


VC ,Wh ) 一 Xe 742. 1 二 -Te 人 0 0. 
”所 以 机 ,Wu 为 i.i.d. 的 , 且 以 (12) 为 其 一 维 分 布 . 
利用 T=inflz:N(zt)=&1 ,| 二 t1 = {N(t) 之 k| 可 得 


p(T,<t)=P(N(t)>4)= >) Ge 








EE a RE 
a -Dt Pe 人 A Ie” 
故 (13) 成 立 .， 口 
定理 3.3 给 出 了 泊 松 过 程 的 一 种 构造 法 :从 一 列 独立 同 指数 分 布 的 随机 变量 | W ,之 1| 
(作为 等 待 时 间 序 列 ) 出 发 , 令 和 = Wi+… + Wi,k 之 1, 再 通过 (5) 定 义 出 泊 松 过 程 N. 我 们 知 
' 道 ,指数 分 布 具 有 无 后 效 性 :对 任意 的 s,t 之 0 
P(W;>tt+s|W,>1)=P(W,>;s). (15) 
这 无 后 效 性 与 泊 松 过 程 的 平稳 独立 增 量 性 相 联系 .事实 上 不 难 证 明 , 任 一 只 取 正 值 的 连续 型 随机 
变量 若 有 无 后 效 性 (15) ,其 分 布 必 为 指数 分 布 . 
定理 3.4 设 N={N(Ci)， ?>>01 是 参数 为 1 的 泊 松 过 程 , 工 ,& 之 1 为 其 来 到 时 刻 , 则 对 任意 
的 [0, co ) 上 的 可 积 函 数 f 有 


E[S pT)]=a 六 mo (16) 
证 先 设 f 非 负 . 由 (13) 


ELAT)]=2) OT Te dz, 





2 EAT 760 2 Be dea) fde. 


对 一 般 的 f, 将 已 证 结果 用 于 f* max(f,0) 及 f =max( 一 了 ,0), 即 可 知 (16) 对 
f=f* 一 了 成立 ， 口 . 

定义 设 XI，…X， 为 取 自 分 布 F 的 一 个 样本 , 即 Xi，…，X。 为 ii.d. 随 机 变量 且 都 具有 
分 布下 .又 X 扫 XO 扫 …… 扫 XO) 为 X1,…,X, 按 取 值 大 小 的 一 个 排列 , 称 (X(),X(2)，*…， 
XU ) 为 (Xi ，…,X。) 的 次 序 统计 量 . 

当 F(z) 以 (zx) 为 密度 时 ,(X(),…,X(n)) 的 分 布 密度 为 


nl! es TX; )， Tx ers 
pe [1 2 1 


0， 其 它 . 
。 了 3 。 


特别 车 下 为 (0,z] 上 的 均匀 分 布 , 则 次 序 统计 量 的 分 布 密度 为 
! = 0< Ti ; 
pl(zri | ee 
定理 3.5 设 N=1{N(i),t 之 0} 是 强度 为 4 的 泊 松 过 程 ,1T,,n 实 1} 为 其 跳 由 时 刻 序 列 , 则 
PC(T,E(s,t],1<jSn|N(t)=n) 
-型 T (0<ma<an<…<am<a<t (17) 


即 已 知 (0,t] 中 六 发 生 n 次 跳跃 的 条 件 下 ,xn 个 跳跃 时 刻 (T，,…,T,) 与 n 个 独立 的 (0,t] 上 均 
匀 分 布 的 随机 变量 的 次 序 统计 量 有 相同 分 布 . 
证 当 0=to<si<i<……< < <t 时 ， 


P(TiE(5 ,tSISn|IN(t)= xn) 
=P(N(#)— N(s)=1,N(s)- N(t,-_1)=0, 
1<j<n,N(t)- N(t,)=0|N(t)=n) 


却 11 [aC 三 le De De (es) 
j=1 


-列车 (- 昌 : 口 

直观 地 说 ,对 泊 松 过 程 N , 若 已 知 N(:) = ,那么 可 以 认为 这 n 个 跳跃 时 刻 在 (0,:] 上 的 分 
布 就 如 同 (0,t] 上 均匀 分 布 的 容量 为 a 的 样本 一 样 . 这 一 性 质 通常 也 称 为 泊 松 过 程 的 完全 随机 
性 . 

例 3.1 设 到 达 某 测试 仪表 的 脉冲 数 是 强度 为 4 的 泊 松 过 程 N = |N(:),t 之 0 ,脉冲 的 电 
压 峰值 为 i.i.d. 随 机 变量 列 | Di ,i 之 1| , 且 与 N= |N(:),: 之 0| 独 立 .脉冲 到 达 后 随时 间 以 指数 
衰减 , 即 在 到 达 后 经 过 时 间 * 脉冲 衰减 为 De-“. 试 求 在 时 刻 + 仪表 能 测量 到 的 来 到 脉冲 电压 总 
和 的 均值 ， 

解 在 时 刻 + 测 到 的 脉冲 电压 总 和 为 





N(z) 


D(z1)= 和 Da Ti) 
D(z) 的 均值 为 
, ED()=E[S Die "(+ 7) | 
DE E [> Dre «DING =i]PCNG) =) 
-=e "> E [> pe °T, | N(#)= Ne j) 


a eo “EID DE > 加 ]P(N(D) = 


。 了 4 。 


=e “ELD] 之 j 工 | esdxzP(NCL)= 了 7) 
ec 二 _4A ELDi] 
Qa 





=e “ELD!] (1-e “), 


, 和 0 
下 面 我 们 利用 定理 3.4, 提 供 另 一 种 计算 ELD(z)] 的 方法 . 若 取 


f(s)=1r0(s)e 49)， 


则 
NI) 


D(z)= 2 De a 2 1r<aDe- a 2 Dr(T)， 
E[D(z)!= > E[D:F(T)]= ELDJE [> f(T,) | 
=.E[Di]A | f(s)ds= E [Di1a | e “(lt -dds 
0 0 


=2(1-e ")ELD]. 口 


例 3.2 设 乘客 按 强度 为 ， 的 泊 松 过 程 来 到 公共 汽车 站 候车 .每 隔 时 间 工 开 出 一 辆 公共 汽 
车 ,将 站 上 候车 的 乘客 全 部 载 走 .现在 为 了 缩短 乘客 的 候车 时 间 ,在 原来 两 班车 之 间 再 增 开 一 辆 
车 , 即 在 区 间 (0, 芽 ) 中 选取 一 个 时 刻 1 ,在 时 刻 增 开 一 辆 车 将 (0,t] 中 来 到 的 乘客 载 走 , 而 在 时 
刻 T 开 出 的 班车 只 需 将 (1 ,TT] 中 来 到 的 乘客 载 走 . 应 该 如 何 选取 + ,使 得 (0,T] 中 来 到 的 全 部 乘 
客 的 总 的 平均 等 待 时 间 最 短 . 

解 以 LN(z)}i 记 顾客 来 到 的 泊 松 过 程 . 先 计算 (0,z] 中 来 到 的 乘客 的 等 待 时 间 总 和 的 平均 
值 (乘客 等 到 时 刻 上 为 止 ). 设 Nt)= nn, 可 以 认为 这 nn 个 乘客 来 到 车 站 的 时 刻 服 从 (0,t) 上 的 均 . 
匀 分 布 , 因 此 每 个 乘客 的 平均 候车 时 间 为 4/2 ,这 7 个 乘客 的 总 的 平均 候车 时 间 为 nt/2. 这样 ， 
(0 ,1 中 来 到 的 乘客 的 总 的 平均 候车 时 间 

2 TPN = > Ce 
由 泊 松 过 程 的 平稳 增 量 性 ,在 (: ,下 ] 中 来 到 的 乘客 的 总 的 平均 候车 时 间 为 A(T 一 1 人 2. 因此 ,我 
们 只 要 求 t, 使 得 
t Ne 
2 

达到 最 小 .容易 求 得 1:=T/2， 口 

定理 3.6 设 N=1N(t),t 之 0| 是 强度 为 4 的 泊 松 过 程 ,1T, ,n 宇 1} 为 其 来 到 时 刻 序列 .对 
任 一 :>0, 令 

RD)=Tuo-t A(t)=t- Ty, (18) 


则 R(z) 与 A(i) 相 互 独立 , 且 
A 


P(R(1)Szr)=1-e-*, 并 之 0， (19) 
1 一 e 入 ， 0 过 zx 之 1， 

P(A(D)<z)=| “ (20) 
Ls 工 之 上 


证 从 A(ti) 的 定义 容易 看 出 A(z) 志 1 ,所 以 当 y 福 上 时 


[RD)>zAC) 二 省 = 在 (上 -yi+zx 中 人 无 跳跃 }， 
P(R(1)>x,A(t)y)=P(N(t+ xr)- N(t-y)=0)=e *(*1»). 


因此 


(ry » 宇 0 ,0 二 :A ? 
PCRCO>z,ACO>3)- 国 人 (21) 
0， y>i. 


特别 地 ,在 (21) 中 令 y=0 得 (19), 令 x=0 得 (20). 再 由 (21) 可 知 ,对 x 之 0,y 之 0， 
P(R(1)>7x,A(t)Fy)=e W101(y)=P(R(1)> zx)P(A()y). 


所 以 R(1) 与 A(i) 是 独立 的 . 口 

设 以 泊 松 过 程 N 表示 来 到 某 车 站 的 公共 汽车 总 数 .在 时 刻 i 乘客 来 到 车 站 , 则 在 zt 之 前 最 
近 的 一 辆 公共 汽车 是 在 时 刻 Ty,) 开 走 的 ,已 开 走 了 时 间 A(i), 而 下 一 辆 公共 汽车 将 在 时 刻 
Tw()+1 到 来 ,乘客 将 等 待 时 间 R() ,而 这 两 辆 车 间隔 时 间 8(1)= R(t)+ A(z), 其 平均 值 


~ E[B8(z)]= E[R(1)]+ E[A(z)] 


另 一 方面 , 按 泊 松 过 程 的 性 质 , 其 相 邻 两 次 来 到 间隔 的 均值 为 ETi=1/4. 但 (22) 表 明 ELB(z)] 
>1/4 ,甚至 


limE[B(1)]==2ET. 


这 一 事实 ,表面 看 来 是 一 个 矛盾 ,实际 上 并 非 如 此 .尽管 泊 松 过 程 的 来 到 间隔 是 一 个 随机 变量 ,其 
均值 应 为 1/4 ,但 在 固定 的 一 个 时 刻 t 来 观察 包含 的 那个 来 到 间隔 , 它 的 分 布 已 不 同 于 原 有 的 
来 到 间隔 , 原 有 的 长 长 短 短 的 来 到 间隔 排 在 时 间 轴 上 ,一般 说 来 ,长 的 间隔 有 更 多 的 可 能 包含 +， 
短 的 间隔 包含 t 的 可 能 较 小 ,所 以 跨 i 的 那个 间隔 更 多 的 是 偏向 长 的 间隔 , 它 的 均值 ELB8(z)] 
也 就 大 于 原 有 的 均值 1/4. 这 也 就 是 人 们 在 等 车 时 总 感到 间隔 比较 长 的 一 个 原因 .值得 注意 的 
是 ,不 论 乘 客 在 哪 一 个 时 刻 t 到 车 站 ,他 等 待 下 一 辆 公共 汽车 来 到 的 时 间 R(z) 同 样 服从 参数 为 
4 的 指数 分 布 . 

定理 3.7 设 N=|N(z),t 之 01 是 参数 为 4 的 泊 松 过 程 ,Y= |Y;,i 之 11 为 i.i.d. 整 值 随机 
变量 序列 ， 


P(Y;=&k)= a,, k 过 0， 


且 Y 与 N 独立 . 令 
.16 . 


N(z) 


X(t)= b> Y ， t 志 0， (23) 
则 X 为 平稳 独立 增 量 过 程 , 且 其 增 量 的 母 函 数 为 
E {z(X() XC) =exp{A(t — s)(A(z) -1)}, 0s<i, (24) 


其 中 A(z) 为 Yi 的 母 函 数 :A(z)= 之 ， az 


证 对 0=io<i<<i,mi, ,mEN, 
P(X(#)~ X(t.1)= mj;,1<j<k) 


2 P(N {XG) -X51)= ml (NG) -NG -1)=n,!) 


nn 0 
x LEPCNG) -NG(5 a) Fn,) 
j=1. 
nt ta - 
= 2 Pp 2 Y=m, li) LIPONG)- NG 1)=n) 
nn 0 让 j=1 
ER Ym)PCNGs)- NC- =m)] 


iM 


[LIP (Sr- mj)P(N(s) ~— N(4 -0)=n)] 


1 2 [P (也 | 


= Tl P(X(G)- X(5-1)=m,). 
故 X 有 平稳 独立 增 量 , 且 











E (2X(0) = >E E (C2)|N(1)=A)P(N() =&) 
= D> EsD 1 P(N(t) =&) 
-> (I E (2%))P(N(z) =&) 
> [A(z)] 和 RE 


因此 (24) 成 立 . 这 里 ,我 们 用 到 了 De cm 
口 
(23) 定 义 的 过 程 X 称 为 复合 治 松 过 程 .一 般 ,其 中 的 i.i.d. 序 列 | Y; ,i 之 1| 可 以 是 取 任 意 什 
的 随机 变量 序列 . 它 在 经 典 的 保险 理论 中 有 重要 的 应 用 .例如 ,假设 发 生火 灾 的 累计 次 数 为 泊 松 
过 程 {N(z) | ,第 i 次 火灾 后 支付 的 赔偿 金 为 Y;, 则 到 时 刻 : 累计 的 赔偿 金 总 数 即 为 
人 17 。 


N(:) 


X(t)= > Y,. 
一 般 还 假设 Y= |Y,,i 宇 1ji.i.d. , 且 与 N 相互 独立 . 这样, 多 = {XX(:),1 宇 0} 就 是 复合 泊 松 过 
程 了 . 


定理 3.8 设 N= |N(i),t 之 0| 是 参数 为 4 的 泊 松 过 程 ,Y= {Y,,i 宇 1| 为 i.i.d. 随 机 变量 
序列 ， 


P(Y;=1)=p, P(Y,;=0)=1- p, (25) 
且 YY 与 N 独立 . 令 
N(#) N(:) 4 
Ni(2)= 2 Yi, N2(t)=. Sy), ! 志 0， (26) 


则 Ni= {Ni(i),t 之 0} 与 N,= 1N,(t),t 之 0} 为 相互 独立 的 泊 松 过 程 ,参数 分 别 为 4p 与 
4(1- p). ; 
证 用 定理 3.7 即 知 ,Ni 与 N: 都 是 平稳 独立 增 量 过 程 .由 假设 (25), 用 (24) 可 知 ,Ni(z) 
与 N,(1) 的 母 防 数 分 别 为 expi4pi(z 一 1)| 与 Sb A pC DL 因此 >Ni 与 N, 分 别 是 参 
数 为 4p 与 4(1 一 户 ) 的 泊 松 过 程 .再 证 它们 相互 独立 . 
对 任意 kl1,0Qs < <<t “<sCti mi nr, me nn EN 
PON1(#)— Ni(s)= m;, Na(t)— N32(s;)=n,1<j<k) 
=P(N(t)— N(s)= m;+n;,lIjSE)PCNI(E)- Ni(s))=m 
N2(#))— Na(s;)=n;,1EISEIN(GE) - N(s)= m; + n;,l<j<k) 
, [4(z;— ) js t.—s 2: mj ni n. 
-| TT Ic) 


a Tl [ap(s ~ 5)]™; ee 和- ?| IJ | 5 )]” e241 p(s 5) 


.| 
mj; 





-PN -Nis) = mISAPNE) - Na(s) = 1,1<j<h). 
这 即 表明 Ni 与 N; 相互 独立 ， 口 
定理 3.8 中 的 过 程 Ni 或 N; 称 为 N 的 稀 玉 过 程 ,因为 它们 是 将 N 的 来 到 随机 地 剔除 一 部 
分 ,经 过 稀疏 而 得 到 的 .计数 过 程 的 稀 玖 是 实际 中 常会 遇 到 的 现象 .例如 ,来 到 某 商店 门口 的 顾客 
数 为 一 计数 过 程 ,到 店 门口 后 有 的 顾客 进门 ,有 的 顾客 不 进门 . 进门 的 顾客 数 构成 的 过 程 就 是 前 
一 计数 过 程 的 稀疏 过 程 .再 如 ,通过 某 十 字 路 口 的 车 辆 数 为 一 计数 过 程 ,过 十 字 路 口 的 车 辆 有 的 
转 村 ,有 的 不 转弯 .转弯 的 车 辆 数 构成 的 过 程 也 是 稀 酬 过 程 . 


习 题 
3 一 1. 设 N= {NI (1),t 宇 01 与 N,= {N,(z), 1 之 0 为 两 个 相互 独立 的 泊 松 过 程 ， 参数 分 别 
为 1i 与 X42. 令 


N(#1)= Ni(:) + N,(z), 1 之 0. 
. 18 . 


证 明 :N= |N(1),t 之 0 为 泊 松 过 程 ,参数 为 A 二 41+ 入 2. 
3 一 2. 对 泊 松 过 程 | N(1),t 宇 0} ,证 明 : 若 0<<s<<t,n 之 1, 则 


P(N(s)=k|N(z)= -cd(E) -iY ， rh 


了 设 [T,h 之 1| 是 强度 为 4 的 泊 检 过程 N 的 来 到 时 刻 序 列 ,了 为 [0,co ) 上 的 非 负 可 积 
函数 .证 明 : 


E lexp[ ~ 2 F(T,)]} =exp -4| 1-e J , 





并 由 此 计算 E[- ”f(T,)] 及 Var[ ,f(T,)]. 
3 -4. 设 N= |N(1) ,1 之 0| 为 计数 过 程 旦 对 任意 (之 1) 个 五 不 相交 的 区 间 (s ,5] ,j= 


1 ,… ,7 ， > (N(#)- -N(5)) 服 从 参数 为 A - 5) 的 泊 松 分 布 ,) >0, 则 N 为 泊 松 
过 程 . 

3-5. 设 N= {N(1t),t 之 0] 是 强度 为 4 的 泊 松 过 程 ,随机 变量 了 与 N 独立 ,P(T>z)=- 
e 4, >0. 证 明 ， 

£ 
P(N(T)=&)= el k=0,1,2," 

3 -6. 业 种 核 粒子 按 参 数 为 A 的 洛 检 过程 来 到 一 个 计数 器 .每 个 到 达 的 粒子 都 使 计数 器 关 
闭 一 段 时 间 . 当 一 个 粒子 到 达 时 ,计数 器 如 不 处 于 关闭 状态 , 它 就 被 记录 下 来 . 求 在 时 间 区 间 
(t,t+r](zt 之 r) 中 记录 下 一 个 粒子 的 概率 . 

3 一 7, 某 台 仪器 有 A,B 两 个 系统 构成 .可 能 发 生 的 故障 有 三 种 类 型 ,发 生 第 i 类 (i =1， 2,3) 
故障 的 累计 次 数 构成 三 个 相互 独立 的 强度 分 别 为 4; 的 泊 松 过 程 . 若 发 生 第 一 类 故障 ,系统 A 无 
法 正常 运行 ; 若 发 生 第 二 类 故障 ,系统 也 无 法 正常 运行 ; 若 发 生 第 三 类 故障 ,系统 A,B 都 无 法 正 
常 运行 .以 XI 和 X, 分 别 记 A,B 两 个 系统 的 寿命 .证 明 : 

(1) Xi 和 Xz 的 联合 分 布 为 
P(Xi>s,X>1)=expl — A1s — A2t ~ Asmax(s,t)| 


(这 分 布 通常 称 为 二 元 指数 分 布 ). 

(2) XI 和 XX 均 服从 指数 分 布 . 

3 一 8. 设 N= ND(1),t 之 01 ,之 1 为 一 列 相互 独立 
的 泊 松 过 程 ,N(*) 的 强度 为 4, 又 A= 之 Mt<oco. 令 


N(1)= > AN‘*)(z), :>0. 





证 明 :N= |N(1),t 之 0| 为 复合 泊 松 过 程 。 

3-9. 考虑 如 图 1 所 示 的 交通 网 络 .流入 的 是 按 所 示 强 
度 的 泊 松 过 程 ,而 在 交会 处 车 辆 按 图 示 的 概率 选择 行走 的 方 
向 .描述 三 个 出 口 处 的 交通 流 情 况 ， 
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第 二 章 ”离散 时 间 的 马尔 可 夫 链 


$2.1 马尔 可 夫 性 


定义 ” 设 |X,,n 之 0 为 一 列 只 取 非 负 整 数值 的 随机 变量 . 若 对 任意 的 & 之 1,0 委 to< 
ti 世 -… 芝 如 +1 及 非 负 整 数 i0 ,i ,*… i+1， 


P(X, i = 10， XX， A ,8X ji) P(X [有 IX- i - (1) 


(等 式 成 立 的 意义 是 只 \ 要 等 式 两 边 的 条 件 概率 有 意义 ， 等 式 就 成 立 .今后 凡是 涉及 条 什 枝 率 的 等 
式 ,其 成 立 的 意义 都 按 这 样 理解 ,不 再 重复 指明 ) , 则 称 | X,,zmZ>01 为 ”离散 时 间 离 散 状态 的 马尔 
可 夫 过 程 ; 或 离散 时 间 的 马尔 可 夫 链 . 

1X, ,之 01 描 述 了 一 个 随时 间 而 变化 的 随机 系统 的 状态 ,事件 [X= 计 表 示 在 时 刻 n 系统 
处 于 状态 i. 离散 状态 实际 上 是 指 状态 空间 EE 为 可 列 集 , 即 全 体 状 态 可 用 非 负 整数 进行 编号 .为 
方便 起 见 , 今 后 在 一 般 的 讨论 中 ,除非 另 有 特别 声明 ,我 们 约定 用 非 负 整 数 集 尺 = {0,1,2,…| 作 
为 状态 空间 , 即 已 = 8 (这 些 整数 可 看 作 它 所 代表 的 状态 的 编号 ) ,这 也 就 是 我 们 一 开始 假定 随 
机 变量 只 取 非 负 整 数值 的 原因 . 在 实际 应 用 中 自然 可 以 不 受 这 个 限制 .例如 ,状态 空间 取 为 整数 
集 Z = | …, -1,0,1,…| 也 是 常见 的 .离散 状态 的 马尔 可 夫 过 程 一 般 称 为 马尔 可 夫 链 .状态 空间 
也 可 以 是 有 限 集 ,这 时 马尔 可 夫 链 就 称 为 有 限 状态 的 ,或 称 为 有 限 马 尔 可 夫 链 .一 般 , 有 限 状态 空 
间 用 10,1,…,a} 表 示 ,a 为 一 正 整数 . 

性 质 (1) 称 为 马尔 可 夫 性 或 无 后 效 性 . 它 有 极为 明显 的 直观 解释 . 如果 把 时 刻 如 看 作 现 在 ， 
那么 t+1 是 将 来 的 时 刻 , 而 t,… ,1 则 是 过 去 的 时 刻 .马尔 可 夫 性 表示 在 确切 知道 系统 现在 的 
状态 的 条 件 下 ,系统 将 来 的 状况 与 过 去 的 状况 无 关 , 或 者 说 为 了 预测 系统 将 来 的 状况 ,只 需 知道 
现在 系统 的 状态 ,更 多 地 了 解 系统 在 过 去 的 状况 并 没有 任何 帮助 . 这 就 是 无 后 效 的 意思 .无 论 在 
自然 界 或 社会 现象 中 ,都 存在 着 许多 随机 现象 ,它们 满足 或 近似 地 满足 这 一 要 求 ,因此 就 能 用 马 
人 中 大 简要 也 罗 国人 训 时 训 妆 的 有 有 的 先生 这 也 正 是 

人 后 我 们 将 频繁 地 使 用 条 件 概率 的 生计 公式 为 方便 学 的 读者 我 们 将 它 列 为 一 条 引 理 . 

引 理 1.1 设 A,B,C 为 三 个 随机 事 御 , 则 


P(BCIA)=P(BIA)P(C1AB). (2) 
证 按 条 件 概 率 的 定义 ,在 P(AB)>0 时 


_P(ABC)_P(AB)P(ABC) 
P(BCIA)= P(A) ™ PCA) P(AB) 
=P(BIA)P(C|IAB). | 
按 我 们 对 有 关 条 件 概率 的 等 式 的 约定 ,(2) 式 成 立 . 了 0 
. 20 . 


引 理 1.2 设 A,B,C 为 三 个 随机 事件 , 则 下 列 两 个 等 式 是 等 价 的 : 


P(C|AB)= P(C1B), (3) 
P(ACIB)=P(A|B)P(C1B). (4) 


证 (3)=>(4). 关 P(AB)=0,(4) 式 两 边 为 0, 故 设 P(AB)>0. 由 引 理 1.1 
P(AC|IB)=P(A1B)P(C|AB)=P(A|B)P(C1B). 
(4) 一 (3). 只 需 考虑 P(AB) >0 的 情形 .由 引 理 1.1 及 (4) 式 


P(AC|B) 
P(A1B) 


定理 1.1 设 |X,,n 之 01 为 马尔 可 夫 链 , 则 对 任意 的 k,m 宇 1 及 tio<i 人 < < 


<iirmiosil,s i+mEE, 


P(C|AB)= =P(C1B). 口 


P(X, ,= tl X= 证 | 六 时 10 X, 一 去) 
二 CO (5) 


证 对 m 进行 归纳 证 明 . m=1 时 (5) 式 由 (1) 式 即 得 .现在 设 (5) 式 对 m -1 成 立 . 记 A= 
| z0， 2 X, =:i-1},B = {1X, 一 . ,Ci {X,, 一 ii+1}, C» = [xX,, = LE ey ee 
Xi,, 王 i+2|, 则 (5) 式 的 左边 及 右边 分 别 为 P(C1C21AB) 及 P(C1C21B). 利 用 引 理 1.1, 引 理 
1.2 及 归纳 法 假设 ,我 们 有 
类 似 地 我 们 也 有 


比较 (6) 及 (7) 即 知 (5) 式 对 m 也 成 立 ， 口 
推论 设 {X,,n 之 0| 为 一 列 只 取 非 负 整 数值 的 随机 变量 . | X, ,之 0| 为 马尔 可 夫 链 的 充 要 
条 件 为 对 任意 的 km 之 1 ,及 to< tt trmio iit i+mEE, 


P(X = io,"™*,X, ， 二 统 -IX = tl 3 ig+m| X, = i ) 
=P(X, = 703 ,X= -ilX, = i ) 
"P(X Sori, ,ep | (8) 


证 由 定理 1.1 及 引 理 1.2 即 得 口 

这 推论 表明 ,马尔 可 夫 性 可 等 价 地 表述 为 :在 确切 知道 系统 现在 的 状态 的 条 件 下 ,系统 的 过 
去 与 将 来 相互 (条 件 ) 独 立 . 特别 可 知 ,在 马尔 可 夫 性 中 ,将 来 与 过 去 处 于 对 称 的 地 位 .因此 , 若 
[Xo,XX1,…,Xs| 构 成 马尔 可 夫 链 , 则 把 时 间 倒 过 来 所 得 的 {X。,X。1,…,Xo} 也 构成 马尔 可 
夫 链 . 

(5) 式 可 以 写成 向 量 的 形式 : 


P((X,, ，…,X )= (+ 


二 十 
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(X, ,",X, ) = (io it-1), Xe =i) 


=P((Xs ,ss Ke = (iri tm) | X, = i), (9) 
这 里 向 量 (i6,…, 太 1) 及 (41… ,让 + ) 分 别 是 k 次 乘积 空间 下 = 正 x…X 开 及 7 次 乘积 空间 
个 
E” = 玉 X… XE 中 的 一 个 点 .这 样 就 很 自然 地 可 以 想到 把 (9) 式 再 作 下 述 进一步 的 推广 . 
Cn 


m 个 
定理 1.2 设 iX,,n 之 01 为 马尔 可 夫 链 , 则 对 任意 的 ,mm 宇 1， i ee “< 


t+msiEE 及 Et 的 子 集 A,E” 的 子 集 B， 


P(X, Ws 


+1 


=P((X XU )EBIX, = 让， ee ”0) 
证 由 引 理 1.2,(10) 式 等 价 于 下 式 ， 


P((Xs ,ss Xs, )EB, (Xs, Ke )EAIX, =i) 
=P((X, ,KX EAIX, =.i)P((X, ,XX,,.)EBIX, =i). (11) 


k+l 二 


我 们 只 要 证 (1tl) 式 ,为 此 把 (11) 式 的 左边 按 状态 向 量 展开 ,并 利用 (8) 式 即 可 ， 
P((X JEB,(X 和 JEAIX =i) 
三 > >, P(CX ss Xe )= (jo ,i 1), 


(i EB (0 TD)EAA 


(X,, ，""X 2 


1 二 


2 PC( Xe ,ss Xe， ) = (7, EX = i) 了 
(ei EB 吧 - 


> P(X RK) = jo ht) |X, =i) | 


G0 有 DEA a 
=P((X, ,1s DJ)EBIX = P(X Kk, EAI =i). OO 

我 们 把 马尔 可 夫 性 从 (1) 推 广 到 了 (10). 马尔 可 夫 性 的 这 一 推广 使 它 的 直观 意义 更 明朗 了 . 
在 (10) 式 中 把 时 刻 4 作为 现在 ,那么 |(X,,…,X，,) € A1 就 是 过 去 的 事件 ,|(X,，，…,X，，) 
E B1 就 是 将 来 的 事件 .在 已 知 现在 的 状态 的 条 件 下 ,将 来 的 事件 与 过 去 的 事件 独立 .这 里 将 来 的 
事件 1(X,,，,…,X,，.)E BI 不 只 涉及 一 个 将 来 的 时 刻 ,可 以 涉及 任意 有 限 个 将 来 的 时 刻 .再 进 
一 步 ,由 概率 的 连续 性 ( 即 可 列 可 加 性 ) 可 知 , 将 来 的 事件 也 可 以 涉及 系统 在 无 穷 多 个 将 来 时 刻 的 
状况 ,但 (10) 式 依然 成 立 ,由 于 涉及 无 穷 多 个 时 刻 的 事件 难以 给 出 一 个 统一 的 表达 式 , 所 以 这 里 
我 们 不 写 出 具体 的 式 子 .在 今后 的 讨论 中 我 们 将 会 看 到 各 种 形式 的 涉及 无 穷 多 个 时 刻 的 事件 , 那 
时 我 们 仍 运用 马尔 可 夫 性 而 不 再 特别 指明 .我 们 还 要 特别 指出 ,如 果 在 (10) 式 中 还 想 把 |X, = 让 
换 成 1X; € D| ,D 为 状态 空间 E 的 一 个 子 集 , 它 包含 的 状态 多 于 一 个 ,那么 一 般 说 来 ， 


P((X,, ,Xi ,)EBI(Xo,,X, )EA,X, ED) 


=P((X, ,KX,, )EBIX, ED) 
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就 不 再 成 立 了 (参阅 下 面 的 例 1.1). 换 句 话 说 ,在 马尔 可 夫 性 中 要 求 确切 地 知道 现在 的 状态 ,不 
能 只 含糊 地 知道 现在 的 状态 是 某 些 状态 中 的 一 个 .这 个 要 求 也 是 十 分 自然 的 . 

前 面 的 讨论 使 我 们 扩充 了 应 用 马尔 可 夫人 性 的 范围 .但 为 了 验证 马尔 可 夫 性 ,我 们 希望 尽 可 能 
只 要 验证 形式 上 更 简单 些 的 要 求 .对 于 离散 时 间 的 情形 ,我 们 有 下 述 定理 满足 这 个 要 求 . 

定理 1.3 设 {X,,n 之 0| 为 一 列 只 取 非 负 整 数值 的 随机 变量 .车 对 任意 的 之 1 及 非 负 整数 


10592119 ,in sintls 
P(X in {Xo=io, Xi= i X=) =p(X, =i |X =i), (12) 
则 |X, ,xn 之 0} 为 马尔 可 夫 链 . 
证 我 们 首先 证 明 :对 任意 的 n 之 1 及 <n， 
POXs41 = inri| Ke = i Noi) = P(X i Xs = i ). (13) 
或 由 引 理 1.2, 证 明 (13) 的 等 价 式 : | 
PCX4 = X= i Rati= intl | X, = i) 
=P(X = Ki1=i | X= iP X= i X, = i,). (14) 
而 (12) 式 等 价 于 
P(Xo =i0 XI = 加 -1 Xanti= int+1| X, = i,) 
=P(Xo= io,", Xa-1= in-1|X, = i P(X +1= in+il X, = i ), 
由 此 式 推导 (14) 式 的 过 程 如 下 : 
P(X = i Kai isl Kantl= int1|X, = i,) 
= 2 P(Xo=jo,, Ke i= Ke= i KX 1 i ls 


jo 1 


- Kn+1= intl| X, = i,) 
2 POXo=jo, Ket=iio Ke = Ki X= i ) 


10 -1 


“P(X +1= in+1l X, = j,) | 
=P(X,= i ,1 二 in-1| X, = i,)P(X,+1= 和 + X, = i,).. 


有 了 (13) 式 ,照搬 定理 1.1 的 证 明 ( 取 t=1,1=0,1,…,k+ m) 可 得 :对 任意 的 上 ,m 实 1 及 记 ， 
ti EE | 


P(XA+ 1 一族 +1 9 Ketm=iitm| Xo= io,", Xi =i) 
=P(X441 = Ketm = it | Xi =i). 
再 照搬 定理 1.2 的 证 明 (以 n 人 代替) 可 得 :对 任意 的 n,m 之 1,iEE 及 E” 的 子 集 A,Em 的 子 
集 B， , 
P((X,+1,°", Xtm) EB, Xo, X,_1)EA,X,=1i) 
=P((Xs+1,"", Xa+m)E BIX, = i). (15) 
. 23 . 


为 了 从 (15) 式 得 到 (1) 式 ,假设 六 =7m 21=2+tm， 只 要 在 (1$) 中 到 

A=1(jo ,jn DEE" :js == 0 ,k—1), 

B= i{(j1 ,jn) EE”: jm = iptil 
就 可 以 了 .， 口 

从 前 面 的 讨论 中 已 经 可 以 看 出 ,条 件 概率 区 二 = i) 起 到 重要 的 作用 . 为 了 得 到 

更 鲜明 的 直观 形象 ,我 们 称 状 态 的 变化 为 转移 ,每 一 个 单位 时 间 移 动 一 步 . 所 以 条 件 概率 
P(X,+ m= 二 j|X, =i) 称 为 在 时 刻 m 从 状态 i 出 发 ,经 过 n 步 转移 到 状态 j 的 转移 概率 . 如 果 对 
一 切 n 宇 l,m 之 0 及 i,jEE,， 


P(X, + = /|X, = i) 


与 m 无 关 , 记 为 pb”, 则 称 这 马尔 可 夫 链 为 (时 间 ) 齐 次 的 或 具有 平稳 的 转移 概率 .今后 我 们 只 
讨论 齐 次 马尔 可 夫 链 , 因 此 将 省 略 齐 次 两 字 . pb) 称 为 步 ( 或 n 阶 ) 转 移 概率 .特别 记 
1， i1=j, 
(0) ss GP 
Pi = 0 0， i 六 j) pi = ps. 
ps 就 称 为 由 状态 i 到 状态 j 的 转移 概率 ， 
定理 1.4 对 任意 的 n,m 之 0 及 i,jEE， 


pr *™) = 对 op 人 (16) 
证 按时 刻 ”的 状态 进行 分 解 ,再 用 马尔 可 夫 性 有 
pyY'™ =Pp(X,+m=j|Xo= i) 
= pS. ph) 
= P(X,=k|Xo=i)P(X, rm =j|X, =k,Xo= i) 
= DP(X, =k|Xo=i)P(X,. ;n=jlX,=£)= Zph py . ODO 
3 是 
《16) 式 称 为 科 尔 莫 苞 罗 夫 (Kolmogorov) 一 查 普 曼 (Chapman) 方 程 , 它 的 直观 意义 也 是 十 分 
明显 的 .从 状态 i 出 发 经 过 n+ m 步 到 达 状 态 j 可 分 成 两 阶段 走 : 先 从 状态 i 出 发 经 过 n 步 到 达 
状态 k, 然 后 再 从 状态 & 出 发 经 过 m 步 到 达 状 态 j. 由 马尔 可 夫 性 ,后 一 阶段 的 状态 转移 与 前 一 阶 
段 的 状态 转移 独立 ,故而 两 个 阶段 的 转移 概率 应 相 乘 .经 过 ?2 步 所 能 达到 的 状态 &k 不 受 任何 限 
制 ,因此 应 对 全 部 的 及 求 和 .(16) 式 的 证 明 昌 然 不 长 ;但 它 的 证 明 步 又 对 于 研究 马尔 可 夫 链 来 
讲 , 却 是 十 分 典型 的 .首先 ,按照 某 种 方式 将 事件 作 分 解 (这 里 是 按时 刻 ”的 状态 作 分 解 ) ,然后 
相继 地 利用 条 件 概率 的 乘法 公式 \ 马 尔 可 夫 性 及 齐 次 性 .今后 我 们 可 能 采用 不 同 的 分 解 事件 的 方 
法 ,然而 都 离 不 开 这 一 基本 模式 .读者 应 充分 注意 ,并 学 会 运用 这 一 证 明 方 法 .充分 地 明了 公式 的 
直观 意义 ,也 有 助 于 掌握 这 个 证 明 方 法 ,读者 也 应 尽 可 能 地 理解 所 遇 到 的 每 一 个 公式 的 直观 
意义 . 


如 果 把 转移 概率 写成 矩阵 的 形式 : 
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P(") = (ph ); ,jEE? 
那么 科 尔 莫 戈 罗 夫 一 查 普 曼 方程 具有 下 列 简 单 的 形式 ， 
Pl"*+™)=Pp(")p(”), n,m>0. (17) 


只 是 这 里 的 矩阵 可 以 是 无 穷 的 ,但 乘法 规则 却 与 有 限 和 矩阵 一 样 ,可 按 行 乘 列 法 则 定义 .P= (ps) 
称 为 马尔 可 夫 链 的 转移 概率 答 阵 , 它 满足 下 列 条 件 ， 
(1) ps0, i,jEE; 
(2) 之 piy=1, i€E. 


(满足 这 两 个 条 件 的 矩阵 称 为 随机 短 阵 . )P'” = P",n 之 1 称 为 n 步 转 移 概 率 和 矩阵 . 易 见 ,P= 
(6; ) 是 单位 阵 . 
初始 状态 Xo 的 概率 分 布 
P(Xo=1i)= p,, i€EE 


称 为 马尔 可 夫 链 的 初始 分 布 .不 难 用 初始 分 布 及 转移 概率 写 出 马尔 可 夫 链 的 有 限 维 分 布 .首先 利 
用 前 面 已 强调 指明 的 证 明 方法 可 以 得 到 
P(X! =i1,", X, = i |Xo= io) 
-POX l=)P = al X= ,XL 辣 ) 
“P(X = | Xo= i Xi= 1) 
=P(X1=i|Xo=io)P(X,=is| X= 7) 
‘P(X= i |X i= 1) 
pisi pii Pi i (18) 


于 是 有 限 维 分 布 为 : 


P(Xo= io, Xi = i Xs = in)= pi Pit pi pi i 。 4 (19) 


反 过 来 ,如 果 一 个 随机 变量 序列 1X, ,n 宇 01 的 有 限 维 分 布 由 (19) 式 给 出 ,其 中 |p;,iEEI 为 
一 概率 分 布 ,( zp; ) 为 一 随机 矩阵 ,那么 由 定理 1.3 就 可 知道 {XX, ,n 宇 0} 为 马尔 可 夫 链 , 即 (12) 式 
成 立 , 且 ( 思 ) 就 是 它 的 转移 概率 矩阵 , | 2;} 是 它 的 初始 分 布 . 因 此 ,马尔 可 夫 链 就 是 有 限 维 分 布 
的 形式 为 (19) 的 随机 变量 序列 . 

对 于 马尔 可 夫 链 ,我们 主要 是 研究 它 的 状态 如 何 随时 间 的 推移 而 转移 , 即 研究 状态 转移 的 概 
率 规律 .说 得 更 明确 些 ,就 是 要 研究 完全 由 转移 概率 矩阵 所 决定 的 性 质 . 对 初始 分 布 一 般 不 作 特 
别 的 规定 ,允许 它 取 任 意 的 概率 分 布 .因此 ,从 数学 上 看 ,就 可 以 把 一 个 随机 和 矩阵 当 作 一 个 马尔 可 


夫 链 ,这 个 随机 矩阵 就 是 这 个 马尔 可 夫 链 的 转移 概率 矩阵 ,而 n 步 转移 概率 和 矩阵 则 由 (19) 式 
确定 . 


与 (18) 式 的 证 明 一 样 ,我 们 有 
P(X,+1 21 er 和 im | X。 = i0) pii Pii, pi 
与 n 无 关 . 若 B 为 E x… x 的 一 个 子 集 , 则 
\ 一 一 一 


m 个 
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PCUCX, :1 Xantm)EB|IX,=i0)=P((X1,…, X,)EB|Xo= i0) (20) 


同样 与 无关. 由 概率 的 连续 性 (可 列 可 加 性 ) 也 可 把 事件 |(X, ,1,…,X,,,)E€B| 换 成 涉及 系 
统 在 时 刻 n 之 后 的 无 穷 多 个 时 刻 状况 的 事件 ,相应 的 (20) 式 依然 成 立 . 因此 ,在 已 知 系统 在 时 刻 
n 所 处 的 状态 的 条 件 下 ,讨论 系统 在 时 刻 n 之 后 的 状况 时 ,可 以 把 时 刻 n 看 作 初 始 时 刻 ,其它 的 
时 间 参 数 作 相应 的 推移 .这 就 是 齐 次 性 假定 的 意义 .今后 我 们 也 要 经 常 这 样 地 运用 齐 次 性 ,不 再 
特别 指明 了 . 

例 1.1 无 限制 的 随机 游 动 ”随机 游 动 是 指 一 个 质点 在 直线 上 的 某 个 范围 内 随机 地 逐步 移 
动 ,也 可 以 讨论 在 平面 上 或 空间 中 的 随机 游 动 .这 里 我 们 先 讨 论 直线 上 的 随机 游 动 . 假定 质点 的 
位 置 总 在 整数 点 上 ,每 隔 一 个 单位 时 间 移 动 一 步 ,可 以 移动 到 左 、 右 相 邻 的 位 置 , 或 停留 在 原来 的 
位 置 上 , 且 转 移 的 概率 只 与 该 时 刻 质点 的 位 置 有 关 ,与 该 时 刻 以 及 质点 在 以 前 的 位 置 无 关 . 以 XX， 
表示 质点 在 时 刻 n 的 位 置 , 则 |X, ,n 守 0} 就 是 一 个 马尔 可 夫 链 , 称 为 直线 上 的 随机 游 动 . 

如 果 随 机 游 动 的 状态 空间 为 Z = |…, -1,0,1,…| ,转移 概率 为 


Pbiviri™p, pii-1™49=1-p, 0<p<l1, i€Z, 


那么 称 这 样 的 随机 游 动 为 (p,g) 随 机 游 动 .这 时 游 动 没有 任何 范围 的 限制 .如 果 p=g=1/2. 则 
称 这 随机 游 动 是 对 称 的 .容易 看 出 ,每 游 动 一 步 可 看 为 作 一 次 有 两 个 结果 的 试验 ,这 些 试验 是 相 
互 独立 的 .因此 利用 独立 试验 序列 的 熟知 的 结果 ,我 们 不 难 计算 n 步 转移 概率 pf". 从 i 经 过 
步 到 j ,必须 向 右 移动 的 步 数 比 向 左 移动 的 步 数 多 j -i 步 .因此 这 n 步 中 必须 向 右 移动 (n+j 
i) /2 步 ,向 左 移动 [n 一 (j 一 i)]/2 步 ,n+j 一 i 必须 是 偶数 .由 此 可 得 


| 2 +j 一 :为 偶数 ， 
和 0， n+j 一 i 为 奇数 . 


随机 游 动 除了 本 身 具 有 一 定 的 物理 意义 外 , 它 实 际 上 是 一 个 可 以 描述 多 种 随机 现象 的 数学 
模型 .许多 随机 现象 都 能 归结 成 各 种 形式 的 随机 游 动 ,从 而 引起 了 研究 随机 游 动 的 兴趣 ,这 情况 
就 像 在 概率 论 中 人 们 热衷 于 讨论 从 经 子 中 摸 球 的 模型 一 样 .此 外 ,随机 游 动 又 是 形式 最 为 简单 的 
马尔 可 夫 链 ,把 它 作 为 例子 作 详 尽 的 讨论 也 是 自然 的 . 
现在 取 初 始 分 布 为 P(Xo=0)=P(Xo=2)=1/2,D= {1,3| ,这 时 
P(X =1)=P(Xo=0)P(Xi=1|Xo=0)+P(Xo=2)P(XI=1|Xo=2) 
er 
i 
P(XI=3)=P(Xo=2)P(X:=3|Xo=2) = 六， 


P(X!=1)P(X,=2|X) =1)+P(X!=3)P(X,=2|Xi =3) 


P(X2=2|X1€ED)= P(X1=1)+P(X1=3) 


1,.i1 

_27? 27_ 1+g 
ld 1+p” 
Ps 


P(X,=2| Xo=0,X.ED)=P(X,=2|Xo=0, X=1)=p. 
26 ， 


因此 p 关 g 时 ， 
P(X,=2|Xo=0,X1ED)#P(X,=2| XE D). 
这 表明 在 马尔 可 夫 性 中 要 求 确切 地 知道 现在 的 状态 ,不 能 含糊 ， 口 
下 面 的 定理 提供 了 一 个 非常 有 用 的 获得 马尔 可 夫 链 的 模式 . 
定理 1.5 设 整 值 随 机 变量 序列 {X, ,” 之 0 满足 下列 两 个 条 件 ， 
(1) nn 之 1 时 ,X, = FOX 116) 
(2) 1&, ,nn 之 1| 为 独立 同 分 布 随机 变量 , 且 Xo 与 1&,,n 之 1 也 相互 独立 ， 
则 {X, ,n 宇 01 是 马尔 可 夫 链 ,其 转移 概率 为 
py=P(f(ist)=)). (21) 
证 由 定理 1.3, 我 们 只 要 证 明 (12) 式 成 立 . 设 n 之 1, 注 意 到 5&4+1 与 Xo,XX1，… ,XX, 相互 
独立 ， 
POXn+1= in+i| Xo= io,", X, = i,) 
=Pp(f(X,,é,+1)= inri| Xo= io,, X, = i,) 
=Pp(f(i,, 6 +1)=ir1| Xo= io,., X, = i,) 
=Pp(f(i;é, 11)= i,+1), (22) 
同样 地 ， 
P(X,+1=inri| X= i )=P(f(i, 6+1) = inr1). (23) 
由 (22) 及 (23) 即 知 (12) 式 成 立 .由 (23) ,转移 概率 为 (21). 口 
推论 设 1&,n 之 0| 为 一 列 独立 的 整 值 随 机 变量 , 且 |&,,n 宇 1| 同 分 布 : 
Pp(é,=k)= ar， kEZ, n 之 1， 
令 
2 X=é0t+h++é,,， n>0, 
则 {XX, ,2 过 0 为 马尔 可 夫 链 , 且 转 移 概率 为 用 三 Qij -1 
证 事实 上 ,在 定理 1.5 中 取 f(a,5)=a+5b 即 得 ， 口 
这 推论 中 的 |X,,n 之 0} 就 是 我 们 熟知 的 具有 独立 平稳 增 量 的 随机 序列 . 反 过 来 ,车 马尔 可 夫 
链 的 状态 空间 为 Z , 且 转 移 概 率 *p; 只 依赖 于 j -i( 这 时 马尔 可 夫 链 称 为 空间 齐 次 的 ), 那 么 这 个 
马尔 可 夫 链 是 具有 独立 平稳 增 量 的 随机 序列 ， 事实 上 记 & =X 一 XX,- 1, 7 之 1， Sr a = 
piitt; 则 祖 ) ,ar =1. 由 (12) 式 
p(é&0 =io0,61 = ,6 = i) 
0 0 十 有 十 十 
ee “pp; tn 


ml 册 


由 此 可 知 
P(é,=k)= a, kEZ, 7 之 1， 
P(6o = 人 ,6 =)=P(é0=i0)P(E = i)Pp(é, = i,). 


这 即 表明 |&,,n 之 0| 为 一 列 独立 随机 变量 ,|&,,n 之 直 同 分 布 ,从 而 1X,,n 之 0| 是 具有 独立 平稳 
增 量 的 随机 序列 . 
容易 看 出 , 当 
Pp(é&,=1)=p, P(& = -1)=g,， 1 之 1 


时 ,我 们 就 得 到 (p,q) 随 机 游 动 . 

例 1.2 存储 问题 设 一 家 电视 机 商店 最 多 可 存放 S 台电 视 机 . 开始 时 商店 进货 进 足 S 台 
电视 机 . 若 在 第 n 个 月 中 顾客 欲 购 的 电视 机 台数 (需求 量 ) 为 所 ,第 n 个 月 底盘 点 时 所 剩 的 电视 
机 台数 记 为 X, .盘点 后 决定 是 否 进货 .决策 的 方法 如 下 : 若 X, 三 ,就 立即 进货 至 S 台 , 若 X, > 
5 , 则 不 进货 .假设 i&,,n 之 1} 为 i.i.d. 随 机 变量 序列 ,其 共同 分 布 为 | qi ,之 01 .这 时 {X,,n 之 0| 
是 马尔 可 夫 链 .事实 上 ,我 们 有 





Xo0=S,， 
ete 当 sS<X _ 1I 委 S， 
一 7 之 1 . 
” [max(0,S — é&,), 当 X，1 委 >， 
如 果 我 们 定义 一 个 函数 : 
max(0,a — 5b), 当 s<aS, 
De max(0,S — 65), 当 we 委 >， 
那么 1X, ,n 宇 01 满 足 定理 1.5 的 条 件 , 它 是 状态 空间 为 10,1,…,S1 的 马尔 可 夫 链 ,转移 概率 为 
Qs,» ;=0,， i<， 
Qis 7=0， i>s， 
pi—= Yds-j; 0<jS, i<s, 
qi-j, 0<j<i, i>;s, 
0， 其 它 ， 


Oo 


其 中 mi= 之 -gj 

. 我 们 所 讨论 的 是 一 个 采取 (s， S) 策 略 的 存储 模型 .商店 感 兴趣 的 是 如 何 决定 * 的 大 小 .从 加 
快 资金 的 流动 .减少 存储 保管 的 费用 等 因素 出 发 ,s 应 取得 大 些 , 但 s 大 ,商品 就 会 脱销 ,减少 营 
业 额 与 利润 ,对 商店 也 不 利 .所 以 要 根据 实际 所 测 得 的 各 种 因素 的 数据 及 利兹 的 大 小 ,综合 地 决 
定 s 的 值 .显然 ,掌握 马尔 可 夫 链 1X, ,= 之 0 的 性 质 总 是 十 分 必要 的 口 

例 1.3 我 们 考察 在 某 个 容器 内 某 种 物质 的 分 子 个 数 的 变迁 . 设 在 单位 时 间 内 ,容器 中 每 一 
个 分 子 以 概率 户 留 在 容器 内 ,以 概率 g=1- 户 和 逸 出 .同时 又 有 新 的 分 子 进 入 容器 ,进入 的 分 子 数 
服从 参数 为 4 的 泊 松 分 布 . 我 们 假设 各 个 分 子 的 运动 是 相互 独立 地 进行 的 .以 X, 记 时 刻 n 容器 
”中 的 分 子 数 .由 上 面 的 假定 容易 看 出 ,1 X, ,n 之 0| 是 马尔 可 夫 链 .因为 下 一 个 时 刻 的 分 子 数 只 取 
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决 于 现在 容器 中 的 分 子 及 新 进入 的 分 子 数 .这 些 都 与 以 前 容器 中 分 子 的 个 数 无 关 . 

我 们 来 计算 转移 概率 p; . 设 容器 中 原 有 的 分 子 中 有 个 留 下 , 则 有 i 一 & 个 逸 出 .新 进入 的 
分 子 数 为 下 .容易 看 到 ,应 有 &<i 及 Rj, 所 以 & 的 变化 范围 是 从 0 到 min(i,j). 由 各 分 子 
运动 为 相互 独立 的 假定 ,我们 得 到 : 


例 1.4 设 |1Y, ,nn 之 0} 为 马尔 可 夫 链 |X,,n 之 01 的 函数 : 
Y,=f(X,), 20, 
其 中 f 为 从 Ex 到 Ey 的 函数 ,Ex 为 {X,,n 之 01 的 状态 空间 ,Ey 为 {Y, ,n 之 01 的 状态 空间 .一 般 


说 来 ,| Y, ,n 实 0} 不 再 是 马尔 可 夫 链 .车 对 任 一 kE Ey, 存 在 定义 在 Ey 上 的 函数 及, 使 得 对 一 切 
i€ Ex, 有 


> ps= hi:(f(i)), ; (24) 


1j:f(7)=&! 


则 ! Y, ,n 这 0j 是 马尔 可 夫 链 .事实 上 ,对 一 切 nn 之 1 ,jo0,j1,*… ,jn€ Ey， 
P (Yo=jo, Yi1=j1,"", Y, = jn) 
= > Pi Pi Pi i 


{ii AD = | 


a 3 PioPisi Pi ji, > Pi i 
[0 D/H) = 0S 加 f= 


=h;, (jn-1) - > Pi Pi Pi 
00s f=j0<len-1! 

= 万 (jr-1) "hh; (J1)h; (jo)P( Yo= jo0). 

因此 | Y, ,n 之 0} 为 马尔 可 夫 链 , 且 其 转移 概率 为 | 
PpP(Y,+1=k|Y,=/)=h,(7)). 

反之 ,如 果 不 论 Xo 的 分 布 如 何 ,| Y, ,n 宇 01 总 为 具有 同一 个 转移 概率 和 矩阵 的 马尔 可 夫 链 ,那么 

条 件 (24) 必 定 成 立 . 这 一 事实 留 给 有 兴趣 的 读者 自行 证 明 . 

现在 设 马 尔 可 夫 链 |X, ,n 之 0| 的 状态 空间 为 Z ,其 转移 概率 满足 条 件 : 


-2°n-1 


Pp-i,-;™ pi, i,jEZ. (25) 
这 时 {|X, | ,n 实 0} 为 马尔 可 夫 链 .事实 上 ,这 时 Ex =Z,Y,=f(X,),n0,f(i)= |1i|,i€Z， 
Ey = 可 . 令 
prt+ pi,-, kl1, 
h,(j)= EN, 
£(j) 人 Py 
由 条 件 (25) 可 知 条 件 (24) 成 立 . 口 
习 题 
1 1. 设 从 数字 1,2,…,a 中 任 取 一 数 为 Xi ,mn 1 时 , 则 从 1,2,…,X，) 中 任 取 一 教 为 XX,， 
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那么 |X,,n 之 0| 为 马尔 可 夫 链 , 试 写 出 它 的 转移 概率 算 阵 . 

1 一 2. 设 连 续 地 搓 一 个 均匀 的 硬币 .定义 X,=0, 若 第 7 次 丘 得 正面 ;X, = 上 ,车 第 n,n 一 1， 
…,n 一 上 +1 次 掷 得 反面 ,而 第 7 一 开 次 搓 得 正面 .这 里 我 们 规定 第 0 次 掷 得 正面 ,那么 | X, ,7 之 
0 为 马尔 可 夫 链 , 试 写 出 它 的 转移 概率 矩阵. 

1-3. 一 个 “传染 病 ” 模 型 如 下 ; 设 a 个 人 中 某 些 人 已 串 流 行 性 感冒 .假定 :(1) 当 一 个 病人 
遇见 一 个 健康 者 时 ,后 者 被 传染 的 概率 为 a;(2) 所 有 的 接触 都 是 两 人 之 间 的 接触 ;(3) 一 切 成 对 
的 接触 都 是 等 可 能 的 ;(4) 在 每 个 单位 时 间 内 只 发 生 一 次 接触 .以 X, 记 时 刻 n 患 渍 的 人 数 , 则 
|X1，…,X。| 为 马尔 可 夫 链 , 试 写 出 它 的 转移 概率 矩 阵 . 

1 一 4. 考察 汽车 单 向 通过 某 路 口 的 情形 .假设 一 秒 钟 可 通过 一 辆 汽车 .路 口 设置 有 自动 红 绿 
灯 . 红 灯 持 续 + 秒 , 绿 灯 持 续 g 秒 ,以 “ 红 灯 一 绿灯 ?为 一 个 单元 时 间 . 在 第 n 个 单元 开始 时 正在 
等 候 的 汽车 数 记 为 X,_1, 在 这 单元 中 来 到 的 汽车 数 记 为 6&. 设 16,n 之 1 为 i.i.d. 随 机 交 量 ,其 
共同 分 布 为 okg, 有 =0,1,…，,r+gl, 而 开始 时 路 口 没有 汽车 在 等 候 .那么 |X, ,7 20| 为 马尔 可 夫 
链 , 试 写 出 它 的 转移 概率 矩阵 . 

1 一 5, 设 某 一 水 库 的 容量 为 c 立方 米 .以 XX, 记 时 刻 寺 水 库 的 储 水 量 .在 时 间 区 间 [z ,zt+l) 
内 流入 水 库 的 水 量 为 6&11, 超 过 水 库容 量 的 水 即 溢出 .在 时 间 区 间 [n,n+1) 末 从 水 库 放 挤 
(<c) 立 方 米 水 (其 中 包括 库 满 而 溢出 的 部 分 ,如 果 溢 出 的 水 量 已 超过 m 立方 米 就 不 再 放水 ). 假 
设 |&，,n 之 1ji.i.d., 且 与 Xo 独立 ,P(&, = 有)=aj,k 之 0. 那么 {X,,n 之 0| 为 马尔 可 夫 链 , 试 写 出 
它 的 转移 概率 纸 阵 . 

1 一 6. 设 马 尔 可 夫 链 的 转移 概率 为 














0 1/2 1 1 0 0 
(1)P=|I1 0 0 |; (2) P=|11A4 1/2 1/4|. 
1 0 0 0 0 1 
求 P(=) . 
1-7. 设 只 有 两 个 状态 10 ,1 的 马尔 可 夫 链 的 转移 概率 矩阵 为 
1 - 
-| d0 | 0<got gi<2. 
1— gi ql 
证 明 :n 步 转移 概率 矩阵 为 
I 1-9l 1-go 
2~gq0- qill-g 1— go 
+ — (1 ~ go) 
2- go- qi —-(1—-qi) i-gqi 


由 此 求 lim, 。P()。 
1 一 8. 设 马 尔 可 夫 链 的 转移 概率 为 


1/[(i+1)(i+2)], 7<i+l， 
pr j=i+1， 
0， j>i+tl1. 
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证 明 : 7 步 转移 概率 为 


n/[(i+n)(i+n+1)], j<it+n, 
p=4(i+1)/(it+n+1), j=i+tn, 
0， j>i+t+n. 


1-9. 设 |&,,n 之 1li.i.d., 且 


PpP(é&,=1)=P(é,= -1)=1/2. 


So=0, S$,= 2) &,n>1l; M= maxSi, n>0. 


t=1 
证 明 :;||S,|,n 之 01| 及 |M, 一 S,,n 庆 0| 为 马尔 可 夫 链 . : 

1— 10. 设 马 尔 可 夫 链 |X,,n 之 0| 的 转移 概率 给 阵 为 (pi)， 初始 分 布 为 | Pi,k 之 01. 又 设 
{1U,,n 宇 0| 为 i.i.d. 随 机 变量 序列 ,其 共同 分 布 为 (0， 1] 上 的 均匀 分 布 . 令 


ba 


fli,u)= 2 所 > ps, >), 0 Ps |(u), iEE,xzE(0,1]， 
Yo= > Al 人 > j=0 人 ps |( Uo), Y 11= f(Y,, U,+1), n20, 
i 1.5 的 逆 定 理 . 


$2.2 状态 的 分 类 与 周期 


今后 我 们 将 总 是 对 一 个 固定 的 齐 次 马尔 可 夫 链 进行 讨论 ， 不 再 重复 指明 . 
定义 ”如 果 存在 x 之 1, 使 bt) >0, 则 称 从 状态 i 可 到 达 状 态 j, 记 作 i™™j. 反之 ,以 ij 表 
未 从 状态 ; 不 能 到 达 状 态 j， 即 对 一 切 n 之 1， pl” =0. 
” 如 果 i->j, 且 j7>i,， 则 称 状 态 i 与 状态 ) 相通 , 记 作 ie) 
定理 2.1 若 ;一 ) ,7j 一 &, 则 i 一 上 . 
证 . 因为 i>j,j 一 kk, 必 有 n 之 1,m 之 1 使 得 
ee py >0, pl)>0. 
由 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 
户 名 下) 一 Dp pi pp >0, 
而 n+ mm 之 1, 所 以 i 一 k. 口 
两 个 状态 相通 的 关系 显然 是 对 称 的 . 由 定理 2. 1, 这 关系 也 是 传递 的 :由 i j 及 j 一 & 可 得 
ie 有 .因此 可 按 此 关系 把 状态 进行 分 类 ， 使 相通 的 状态 归属 于 同一 个 类 .整个 状态 空 间 就 可 分 解 
成 若干 个 类 .每 一 个 状态 属于 且 只 属于 其 中 的 一 个 类 .包含 状态 i 的 类 记 作 C(i), 则 
C(i)= {iU {zi:jPil. 
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如 果 状 态 i 不 与 任何 别 的 状态 相通 ,那么 它 自身 就 构成 一 个 类 :C(i)= | 

由 定理 2.1, 关 i->j, 则 由 C(i) 中 的 任何 一 个 状态 也 可 到 达 C(j) 中 的 任何 一 个 状态 ,这 时 
也 记 为 C(i) 一 C()). 

定义 ”状态 i 称 为 本 质 的 , 若 i>j 时 , 必 有 j 一 i. 反 之 ,车 有 状态 ;j 使 得 i 一 j ,但 ji , 则 称 
i 为 非 本 质 的 . 

定理 2.2 若 状 态 i 是 本 质 的 ,i 一 j, 则 状态 j 也 是 本 质 的 . 

证 若 j->k, 因 为 i 一 j, 所 以 i>&, 而 i 是 本 质 状 态 , 故 k 一 i. 再 由 i 一 j 得 到 一 j. 这 即 表 
明 ; 是 本 质 状 态 . 口 

由 定理 2.2, 同 一 个 类 中 的 状态 或 全 为 本 质 的 ,或 全 为 非 本 质 的 ,相应 立地 我 们 就 称 这 个 类 为 
本 质 类 或 非 本 质 类 .再 由 类 的 定义 可 知 , 从 本 质 类 中 的 状态 不 能 到 达 别 的 类 中 的 状态 ,但 从 非 本 
质 类 的 状态 就 有 可 能 到 达 本 质 状 态 类 .本 质 类 的 这 个 性 质 导 致 下 述 闭 集 的 概念 . 

定义 ”一 个 状态 的 集合 A 称 为 闭 集 , 如 果 对 每 个 iEA 


Dl (1) 
闭 集 A 称 为 极 小 的 , 若 A 的 任何 一 一 个 真子 集 不 是 闭 集 
用 归纳 法 不 难 证 明 , 若 A 为 闭 集 ,对 任意 n 宇 1 及 iE€EA 有 
> DE (2) 


JE 入 


事实 上 ， =1 时 (2) 式 即 (1) 式 ， 若 (2) 式 对 n 一 1 成 立 , 则 iEA 时 
Bs 2 pup "= pup Y, 
之 2 2 Ss = De ) = 之 ) be=1; 


JEAEA EA 

由 (2) 式 可 知 , 从 闭 集 内 的 任何 一 个 状态 出 发 ， 不 可 能 到 达 闭 集 外 的 状态 ,这 就 是 闭 集 这 个 名 
称 的 由 来 .我 们 应 注意 ,这 时 (p;);,;e a 本身 就 是 一 个 随机 和 矩阵 . 换 句 话说 , 当 我 们 只 限于 在 闭 集 
4 中 进行 讨论 时 ,可 以 把 闭 集 A 作为 状态 空间 对 待 . 

定义 ”车 p; =1, 则 状态 i 称 为 吸收 状态 . 

直观 上 看 ,系统 一 旦 进入 吸收 状态 ,就 一 直 停留 在 那里 ,再 也 不 离开 了 ,也 就 是 被 吸收 住 了 . 
吸收 状态 必定 是 本 质 状态 , 且 本 身 构成 一 个 类 :C(i)= }i 让 .自然 ,1 让 是 一 个 极 小 闭 集 . 反 过 来 ， 
很 容易 看 出 , 若 一 个 状态 i 本 身 构 成 一 个 本 质 类 ,那么 1i| 为 闭 集 ,因此 p; =1,i 为 吸收 状态 . 因 
此 也 可 以 说 ,吸收 状态 就 是 自身 构成 一 个 极 小 闭 集 的 状态 . 

容易 看 出 , 若 状 态 i 属于 闭 集 A , 则 A 也 包含 C(i). 换 名 话说 , 闭 集 一 定 是 若干 个 类 的 并 集 . 
下 面 两 个 定理 使 我 们 能 较 清楚 地 了 解 闭 集 的 结构 . 

定理 2.3 一 个 状态 集合 A 是 极 小 闭 集 的 充 要 条 件 为 它 是 一 个 本 质 类 . 

证 先 证 充分 性 . 设 A 为 一 本 质 类 .我 们 已 经 指出 ,i€ A ,但 j 和 A 时 ,ixj. 因 此 p; =0. 所 
以 i€E A 时 


之 /所 = 2 py=1, 
jEA jE€EE 
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即 A 为 闭 集 . 若 BCA,B 也 为 闭 集 ,但 B 承 A, 取 i€ B,jE A \ B. 因 为 B 是 闭 集 ,由 (2) 式 ,对 
一 切 xn 之 1,p9 Y=0, 即 ixj. 但 i,j 属于 同一 个 类 必定 相通 ,得 出 矛盾 .所 以 A 是 极 小 闭 集 . 

再 证 必要 性 . 设 A 为 极 小 闭 集 . 任 取 一 个 状态 iE A, 令 D(i)= :i 一 庆 , 即 从 i 出 发 可 到 
达 的 状态 全 体 .显然 D(i)CA. 下 证 D(i) 是 闭 集 .事实 上 ,如 果 有 jED(i),k&D(i), 但 p> 


0, 则 j 一 ,而 i->j, 故 i>k,kED(i), 得 出 矛盾 . D(i) 显 然 不 是 空 集 (车 对 一 切 j 关 i ij, 则 i 


为 吸收 状态 ,A = {i = D(i)), 又 由 于 A 是 极 小 闭 集 ,因此 只 能 D(i)= A. 这 表明 从 A 中 任意 
一 个 状态 出 发 可 到 达 A 的 任何 一 个 状态 , 即 A 中 任意 两 个 状态 都 相通 ,而 从 A 中 的 状态 出 发 只 
能 到 达 A 中 的 状态 ,因此 A 是 一 个 本 质 类 口 

定理 2.4 有 限 个 非 本 质 类 的 并 集 不 是 闭 集 . 

证 用 反 证 法 . 设 C1,C2,…,C, 为 个 非 本 质 类 ,但 C= U C, 为 闭 集 . 

任 取 iiE Cn (m1=1), 因 为 i 非 本 质 , 故 必 有 i2€EC, 使 记 玉 i2, 但 i,# 计 1. 设 i2€ C。,, 由 
于 同一 个 类 中 的 状态 是 相通 的 ,因此 m2 关 mi. 所 以 Cn 一 Co ,Cn Cn 

对 iz 也 有 i3E Cw, 使 i 一 i3,i3#i2. 同 样 地 有 Cn Cn 一 Cn ,但 Co Cn , 且 Cn Cn 
(如 Cn 一 Cn ,就 有 Cm 下 Cm 下 Cm 与 Cm, 万 Cm, 子 盾 了 ), 所 以 ms 与 m1,m2 也 都 不 相同 . 按 此 
方法 ,对 任意 上 可 取 到 C。 ,使 
Cn Cm 一 … 一 Cn ， 


Cm, 下 Cr， Cm, A Cn, ’ 


从 而 加 1,m;，,… ,mi 都 互 不 相同 .但 m1,…, ms 又 只 能 在 有 限 个 数 1,2,…,n 中 选取 ,显然 巴 


“后. 所 以 C 不 是 闭 集 ， 口 


wir 


定义 整个 状态 空间 显然 是 一 个 闭 集 ,如 果 它 又 是 极 小 闭 集 ,那么 马尔 可 夫 链 称 为 不 可 
约 的 ， 
由 定理 2.3, 不 可 约 链 的 状态 空间 是 一 个 本 质 类 . 当 把 马尔 可 夫 链 的 状态 转移 局 限于 一 个 本 


. 质 类 时 ,我 们 就 得 到 一 个 不 可 约 链 .因此 从 讨论 不 可 约 链 开 始 往往 可 以 简化 所 讨论 的 问题 . 


例 2.1 设 马尔 可 夫 链 的 状态 空间 为 10,1,2,3,4} ,转移 概率 矩阵 为 


1/3 2/3 0 0 0 
0 12 1/2 0 0 
P=|3/4 14 0 0 0 
1/3 0 0 1/3 1 
0 0 0 0 1 


易 见 “4” 为 吸收 状态 ,自身 成 一 个 本 质 类 14| .不 难看 出 ,0 一 1,1 一 2,2>0, 且 10,1,2] 为 闭 集 .因此 
10,1,2| 为 本 质 类 .又 3 一 1,3 一 4, 但 1#3,4#3, 所 以 {3| 为 非 本 质 类 .， 口 

从 上 面 的 讨论 及 例 2.1 可 看 出 ,一 个 马尔 可 夫 链 的 状态 的 分 类 只 取决 于 转移 概率 矩阵 中 哪 
些 元 素 是 零 ,哪些 元 素 是 正 的 .但 正 元 素 的 数值 有 多 大 对 状态 的 分 类 并 没有 影响 . 

如 果 我 们 把 一 个 有 限 马尔 可 夫 链 的 状态 编号 作 适 当 调 整 ,把 非 本 质 状 态 放 在 前 面 ,把 同一 个 
类 的 状态 放 在 一 起 ,那么 转移 概率 矩阵 有 下 列 分 块 矩 阵 的 形式 : 
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其 中 Q= (zn)ijeTryP 三 (pis)i,jer,»P2 = 《二 下 为 非 本 质 状 态 全 体 ,Ri,R,,… 为 本 
质 类 (由 定理 2.4, 有 限 链 必定 有 本 质 类 ).Pi,P,,… 各 自 都 是 随机 和 矩阵 .分 块 短 阵 中 的 O 代表 零 
矩阵 ,矩阵 $S;,S;,… 一 般 不 是 零 矩阵 ,因为 从 非 本 质 状 态 可 到 达 本 质 状态 .无 限 状 态 的 马尔 可 夫 
链 的 转移 概率 矩阵 也 可 类 似 地 写成 适当 的 分 块 矩 阵 形式 . 

例 2.2 设 马 尔 可 夫 链 的 转移 概率 矩阵 为 


1/2 1/2 0 0 
0 1/2 1/2 0 
0 0 12 122 


pi= pi,it+1=1/2, 1 之 0 . 


这 是 一 个 极端 的 例子 ,我 们 用 它 来 说 明 无 限 多 个 非 本 质 类 的 并 集 确实 可 以 是 闭 集 . 因 为 这 里 每 一 
个 状态 构成 一 个 非 本 质 类 ,它们 的 并 集 即 状态 空间 ,自然 是 闭 集 . 这 例子 还 表明 一 个 闭 集 可 以 不 
包含 极 小 闭 集 ,因为 每 一 个 形 为 fi+li+2… 的 集合 都 是 闭 集 . 口 

定义 ” 若 对 状态 i, 正 整数 集 {n 之 1:p(7*>01 非 空 , 它 的 最 大 公 因 子 d; 称 为 状态 的 周期 . 若 
d; >1, 状 态 i 称 为 周期 的 ;车 di =1, 状 态 i 称 为 非 周 期 的 . 

.车 {n 之 1: pb >0} 为 空 集 , 即 ;Ai ,对 这 样 的 状态 我 们 不 讨论 它 的 周期 .这 时 状态 i 必定 是 
非 本 质 状态 , 且 自 身 构 成 一 个 类 .实际 上 ,我 们 一 般 只 对 本 质 状态 注意 它 的 周期 . 

定理 2.5 若 io>j, 则 d;= 4d;. 

证 设 1 之 1,n 之 1, 使 pi”?>0,p; >0, 则 


phi' >py ph >0, pH’ "pi py >0, 
1+n 同时 能 被 d; 及 d 整除 ,车 pt?”)>0, 则 
pitmtn pi pi pt" >0 
也 il ii y 9 


1+ m+n 也 被 d; 整除 ,因此 m 要 被 必 整除 ,从 而 d); 整除 im 之 1: pf ?>01 的 最 大 公 因 子 d;. 对 
调 i 与 ; 的 位 置 ,d; 也 整除 4;, 所 以 d;=d;. 口 - 
定义 ”一 个 本 质 类 的 周期 定义 为 该 类 中 任 一 状态 的 周期 . 称 周期 大 于 1 的 本 质 类 为 周期 类 ， 
称 周期 为 1 的 本 质 类 为 非 周期 类 . | 
定理 2.6 设 C 为 本 质 类 ,周期 为 4d,i,jEC,pY >0,pY2>0, 则 ns 一 nl 被 d 整除 . 
证 因为 j 一 i, 有 n 之 1 使 pr ?>0, 从 而 


BB D>py pi >0, pi’ ">py ph >0, 


ni+n,n2+n 均 被 4 整除 , 故 n, 一 nl 被 d 整除 . 0 
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根据 定理 2.6, 在 周期 本 质 类 中 ,从 一 个 状态 进入 另 一 个 状态 ,必须 是 周期 地 发 生 的 ,所 以 可 
以 把 一 个 周期 为 a 的 周期 本 质 类 C 划分 为 4 个 互 不 相交 的 子 类 . 任 取 C 中 一 个 状态 i, 令 JE 
C,(i) 当 且 仅 当 p>0 时 必须 有 n= kd+s,k 之 0,0 过 ;过 qd -1 那么 


Cl(= Ci))= CoDUC(DULRUG, (2). 


当然 也 可 取 C 中 另 一 个 状态 j 来 划分 子 类 .但 是 如 果 jE C,(7), 则 C,(j)= C,;,(i)( 荐 n= kd 
+ s,k 之 1,0 人 sd 一 1, 定 义 C,(i)= C,(i)). 也 就 是 说 ,和 Co(i),…,Cg_1(7)| 与 1Co0(j),…， 
Ca -1(j)1 两 个 集合 完全 一 样 ,只 是 排列 顺序 不 同 而 已 .因此 可 以 把 这 d 个 子 类 记 为 Co, Ci,…， 
Cs-1( 阁 n= kd+s,k 之 1,0 人 sd 一 1, 定 义 C,= C,). 这 时 对 一 切 n 之 1 

2 DPE TE 


JE Cn 
对 iEC,,  。。 pi=1 的 直观 意义 是 很 清楚 的 :从 状态 i€ C 出 发 走 一 步 只 能 进入 C,, ,中 的 


状态 ,再 走 一 步 只 能 进入 C, ;, 中 的 状态 ,等 等 . 换 句 话说 ,系统 的 状态 在 周期 本 质 类 中 的 转移 是 
依次 从 Co,GCi,… ,Ca-1 中 的 一 个 子 类 进 到 下 一 个 子 类 ,一 直 这 样 地 循环 进行 下 去 .如 果 我 们 把 
状态 转移 局 限 在 这 个 周期 本 质 类 中 ,并 把 原来 的 d 步 转移 概率 矩阵 作为 -- 步 转移 概率 矩阵 ,也 
就 是 把 原来 的 d 步 看 作 一 步 , 把 时 间 单 位 放大 4 倍 , 那 么 我 们 得 到 一 个 新 的 马尔 可 夫 链 .在 新 的 
链 中 状态 就 都 是 非 周 期 的 了 .容易 看 出 , 子 类 Co,C,…,C，; 在 新 的 链 中 都 成 为 闭 集 了 .这 是 一 
种 把 讨论 周期 本 质 状态 化 为 讨论 非 周 期 状态 的 有 用 的 方法 . 

例 2.3 设 马尔 可 夫 链 的 状态 空间 为 10,1,2,3,4,51 ,转移 概率 矩阵 为 


0 1/4 1/4 0 12 0 
0 13 0 2/3 0 0 
0 0 0 12 0 1 
0 0 13 0 203 0 
0 0 0 1/4 0 3/4 
0 0 43 0 1 0 





先 将 状态 分 类 :12,3,4,5| 为 本 质 类 ,10| 及 |1| 为 非 本 质 类 .对 一 切 n 宇 1, pb8’ =0, 因 此 我 们 不 讨 
论 状态 0 的 周期 . pi? =1/3>0, 由 此 即 知 |n 之 1: pl ?>01 的 最 大 公 因 子 只 能 为 1, 即 di =1, 状 
态 1 为 非 周期 状态 .在 本 质 类 12,3,4,5} 中 走 一 步 从 偶数 状态 只 能 到 达 奇 数 状态 ,从 奇数 状态 只 
能 到 达 偶 数 状态 .因此 周期 为 2, 且 12,41 及 13,5} 为 两 个 子 类 ， 口 

下 面 我 们 先 给 出 一 个 初等 数论 的 结果 . 

引 理 2.1 设 x 之 2, 正 整数 s,s,,…,s, 的 最 大 公 因子 为 4 , 则 存在 正 整数 N ,使 得 n>N 


时 , 必 有 非 负 整数 cl,cz,…,cmn 使 md= >” 
证 由 于 a 是 s1,…,s。 的 最 大 公 因 子 ,必定 存在 整数 ni,…,n 使 >)”， nis;=d.(m=2 
时 由 求 最 大 公 因子 的 轧 转 相 除法 即 可 得 这 结论 ,对 一 般 的 m 再 用 归纳 法 证 明 . ) 令 


qg= >) nisi, r= >) (ni)s,, 
mi<0 


n 宕 0 


CiSi 。 


。 .393 。 


则 g==r+qd. 若 r=0, 则 gqg=4d. 这 时 必须 有 一 个 n;= 1, 其 余 的 nj 全 为 零 ,s,; 一 4d, 从 而 引 理 的 结 
论 显然 成 立 . 若 + 关 0, 取 N= (5) , 则 n>N 时 ,把 n 写 成 


n=k 


一、 


六 r 
二 | 十 委 / 委 一 一 
了 | i， 0<! 了 1 ， 


必定 有 之 二 >4,k 一 1>0, 从 而 
nd=(k-Ll)rti(rtd)=(k-/l)rt+ilg= > (Ln;)s;+ > (k—1)(—n,)s,. 口 
于 .之 0 "<0 
定理 2.7 设 状态 i 的 周期 为 4, 则 存在 正 整数 N ,使 得 "之 N 时 ,p8)>0. 
证 这 时 存在 s1 ,ss,…,s ,使 得 它们 的 最 大 公 因 子 为 d, 且 p 久 ;>0,j=1,…,m. 由 引 理 
2.1, 存 在 正 整数 NN ,使 得 7 之 人 时 , 必 有 非 负 整数 C1，C2， ”CA 使 nd = pe cis;; 从 而 


ph (pV) ph) >0. OO 


例 2.4 设 马 尔 可 夫 链 X = |X, ,n0} 为 非 周期 不 可 约 的 ,马尔 可 夫 链 Y= |Y, ,nn 之 01 与 
X 相互 独立 , 且 有 相同 的 转移 概率 和 矩阵 ( p; ). 令 
Z, = (X,, Y,), 7 之 0 ， 
则 Z = {2Z,,n 宇 01 是 状态 空间 为 XE 的 非 周期 不 可 约 马 尔 可 夫 链 .事实 上 ,对 任意 的 n 宇 1， 
iosjos ,int1 jnt!EE 
A RE (i0,j0),: = (i, ,jn)) 
PC 站， 了 
PC 站 a 
A et 
{| ea 
=P(X,+1= iri| X, = i ,Xo= i0) 
“PCY r= jri| Y=,"", Yo= jo) 





=P(X,11=is21|X, =i)P( Y= jl Y, =,). (3) 
类 似 地 有 
P(Z,. 1= (brsjnt1) | 2 = (i ,jn)) 
= P(X,+:1= in+1|X, = i POCY, +1= ji| Y=,). (4) 
由 (3) 及 (4) 即 得 Z 的 马尔 可 夫 性 .由 (3) 还 可 看 出 ,2Z 的 一 步 转移 概率 为 
pli, j)(k0) 一 = papi: (5) 
用 同样 的 方法 也 可 知道 Z 的 n 步 转 移 概率 为 
phy.D) = pw ph . (6) 


对 任意 的 i,kEE, 存 在 mj 之 1 使 pi*)>0 及 mi 之 1 使 n 宇 mi 时 ,p>0, 从 而 nn 之 Ni = 
* 36 . 


mi + ma 时 
pi php ">0. 


”因此 ,对 任意 的 (i,j)(k,1)EEXE,n 之 N=max(Ni, Nj) 时 由 (6) 可 知 bt) >0. 由 此 可 
得 ,马尔 可 夫 链 Z 也 是 非 周 期 不 可 约 的 . 口 


习 题 


2 一 1. 讨论 具有 下 列 转移 概率 矩阵 的 马尔 可 夫 链 的 状态 的 分 类 (区 别 本 质 与 非 本 质 ) 与 
周期 : 


1/4 1/4 1/4 1/4 


0 1X2 1722 
13 0 13 13 
(1) |1[2 0 12|; (2) 用 
0 0 12 172 
[12 1/2 0 
0 0 0 1 
1/3 1/3 0 0 1 
0 0 0 1 
. 1/2 1/4 0 1/4 0 
0 0 0 1 
p (4) | 0 0 0 1 0 |; 
1/2 1/2 0 0 
0 0 1 0 0 
0 0 1 0 
0 0 1 


1/2 1/2 0 0 0 


1/4 0 0. 0 1/4 1/2 





0 12 12 0 0 0 

1/2 0 12 0 0 0 

0 

(5) 
， 


2 一 2. 设 每 次 从 数字 1,2,…,a 中 任 取 一 数 ( 可 重复 取 ). 以 X, 记 前 n 次 所 取 数 中 的 最 大 
数 , 则 |X,,n 之 1| 为 马尔 可 夫 链 ,讨论 它 的 状态 的 分 类 与 周期 . 

2-3. 逐个 随机 地 把 球 放 入 a 个 盒子 中 (可 重复 放 入 ) .以 入 记 放 了 nn 个 球 之 后 的 空 盒 数 ， 
则 | X， ,7 之 0 为 马尔 可 夫 链 ,讨论 它 的 状态 的 分 类 . 

2 一 4. 设 一 个 细菌 群体 包含 有 a 个 细菌 ,但 细菌 有 两 种 类 型 ,每 个 细菌 分 裂 为 类 型 相同 的 两 
个 细菌 ,然后 从 2a 细菌 中 随机 地 挑选 a 个 构成 下 一 代 . 每 代 的 挑选 是 相互 独立 的 .以 XX, 记 第 n 
代 中 每 一 种 类 型 的 细菌 的 个 数 , 则 |X, ,n 实 0| 为 马尔 可 夫 链 ,讨论 它 的 状态 分 类 . 

2 一 $. 把 数字 1 ,2,… ,a 作 随 机 的 排列 : 
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b1,b2,"% ,0b,. 
令 Xo 二 1. 对 n 汪 0, 定义 
Xs,+1=min{i:b;> bx, ,li<al, 
若 |i:b;>bx, ,1 二 i 二 a 为 空 集 ,定义 XX,+1=a+1, 并 规定 bs41=a+1, 则 1X,,n 这 0] 为 马尔 可 
夫 链 ,讨论 它 的 状态 分 类 ， 
2-6. 证 明 :i->j 的 充 要 条 件 为 存在 n 之 1 及 i1，…,i,-1EE, 使 得 
ba bii,"Pi .i>0, 
且 i,il,"…,in-1 互 不 相同 . : 
”2-7. 设 有 限 马 尔 可 夫 链 有 a 个 状态 .证 明 : 若 i>j, 则 必 有 n, 使 1n 二 a, 且 p>0. 
2 一 8. 设 A 为 一 状态 集合 使 得 集合 
A=1iE€EE: 对 一 切 j EA,ixj| 
非 室 , 则 A 及 A \ A 均 为 闭 集 . 
2-9. 设 有 nn 之 1 使 得 对 一 切 i, p>0. 证 明 :j 是 非 周 期 状态 .. 
2 一 10. 设 P 为 有 限 马 尔 可 夫 链 的 转移 概率 和 矩阵. 证明:P 的 特征 值 的 模 不 大 于 1, 且 1 为 P 
的 特征 值 . 
若 P 又 为 非 周 期 \ 不 可 约 的 ,证 明 : 若 4 为 PP 的 特征 值 , 且 |A|=1, 则 和 A=1. 
8$2.3 常 返 性 
我 们 继续 对 一 个 固定 的 马尔 可 夫 链 X= {X。,2 过 0}1 讨论, 其 转移 概率 矩阵 为 (加 ). 对 任意 
rj; =inf{n 之 1:;X,=j| 
为 {X, ,nn 之 1| 首 次 进入 状态 j 的 时 刻 .如 果 {n 宇 1:X, = 首 为 空 集 , 按 定义 r;= +oco.r 是 停 时 ， 
因为 对 任意 ,事件 
{r=n)= {XAj ,Xn 1 X= j| 
由 1 X 的 取 值 所 决定 . 令 
(=Ppi(r;=n)=P;(X, =.j, X,Aj,0<v<n) 
二 >， Pi Pii, ”Pi ji: 
i Fj'0<vu<n 


我 们 以 P;(A) 记 在 条 件 Xo。=i 之 下 事件 A 的 条 件 概率 P(A|Xo=i).f 久 "是 从 状态 i 出 发 经 过 ? 


oo 


步 首次 到 达 状态 j 的 概率 .因此 f= >' fm 是 从 状态 i 出 发 迟早 要 到 达 状 态 j 的 概率 ,或 从 状 
态 i 出 发 至 少 到 达 状 态 j 一 次 的 概率 : 
fy=Pi(r;,<%)=P,(U) {X, =j|). 
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事实 上 ,只 需 把 1X, = 刘 写 成 互 不 相 容 的 事件 的 并 : 


UX, = Us 和 六 <o<al=Uin=al=in<el 
若 j 是 吸收 状态 , 方 也 称 为 吸收 概率 , 即 从 状态 i 出 发 ,被 吸收 状态 ) 吸收 的 概率 .这 时 对 一 切 
1 之 1 ,我 们 有 |X,=j|CCiX,+1=j1( 一 旦 进入 吸收 状态 j ,就 永远 停留 在 ; 上 ), 因 此 吸收 概率 
fy= limPi( UD 1X,=71)= limPi(X, =7) = lim py. 
易 见 ,对 一 切 i,jEE 及 nn 之 1 
0<fi Sp Sf el. 

定理 3.1 i->j 的 充 要 条 件 是 f; >0. 

证 车 i>j, 则 有 nn 之 1, 使 pi”?>0, 从 而 fj 宇 pY ?>0. 反 之 ,车 f; >0, 则 有 nn 之 1 使 /人 
>0, 从 而 p 儿 之 fY’>0. 因 此 i 一 j， 癌 

定义 ” 若 fi;=1, 称 状态 i 为 常 返 的 ;车 万 <1, 称 状态 i 为 非常 返 的 或 滑 过 的 . 

下 面 我 们 将 解释 这 些 名 称 的 由 来 .对 于 常 返 状 态 i,P(ri; 之 co |Xo=i)= 所 =1, 这 表明 从 状 
态 i 出 发 必定 要 返回 到 状态 i, 且 | f?',n 之 11 就 是 返回 时 间 的 概率 分 布 (x; 在 Xo。= i 的 条 件 下 


的 条 件 分 布 ) .我 们 要 进一步 证 明 ,从 常 返 状 态 i 出 发 必定 要 无 穷 次 地 返回 到 状态 i, 这 就 是 常 返 
的 含义 .为 此 我 们 定义 gij 为 从 状态 i 出 发 无 穷 多 次 到 达 状 态 j 的 概率 : 


gj 一 Pi 有 无穷 多 个 n 之 1 使 X,=j)=Pi( 站 站 {X=j1)， 


事实 上 ,车 有 无 穷 多 个 n 宇 1, 使 X, = j, 则 对 一 切 宇 1, 事 件 U 1X, = 让 都 发 生 , 所 以 事件 


RUI = 有 发生 ;反之 ， 关 事 件 站 Ua =j| 发 生 , 则 对 任 一 上 宇 1, 必 有 nn 之 k ,使 XX, =j， 
所 人 n 之 1, 使 X, =j. 显然 ,我 们 有 
0< gfi. 
定理 3.2 对 一 切 i,j， 
gi lim(fa)”, 8 二 方 87 (1) 


证 以 g,(m) 记 从 状态 i 出 发 至 少 到 达 状 态 j m 次 的 概率 : 
gij(m)=P;( 至 少 有 m 个 nn 之 1 使 X, = j). 
显然 gi (1) = 户 . 因 为 事件 至少 有 m 个 n 之 1 使 X,=j| 是 随 m 增加 而 单调 下 降 的 , 且 
门 1 至 少 有 加 个 个 n 衬 1 使 X, = j= | 有 无 穷 多 个 n 之 1 使 X, = 让 . 


因此 , g;(m) y gj ;Mm 阅 %%. 对 m 之 0， 
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si(ma+l)=Pi( 至 少 有 m 二 1 个 n 之 1 使 X, = j) 


k=1 
= Pi(h4=j, 和 天 j,0<v<&; 至 少 有 mw 个 n 之 kh+1 使 X= 放 


= DP,(X,=j,X,#j,0<v<k) 
Pe 
-P( 至 少 有 m 个 n 之 k+1 使 X,=j|X,=j) 


= 之 /和 PP (至 少 有 m 个 n 之 1 使 X, =j) 


p23 fi kg,(m)= figi(m), 


由 此 特别 得 到 
gi(m+1)= figi(m)=°…=(fi;)"gi(1)=(f,)"!!. (2) 
从 而 一 般 地 有 
gi(m+1)= f;(f;)", (3) 
在 (2) 及 (3) 式 中 令 mm 一 % 即 得 (1) 式 .， 口 
由 (1) 式 ,i 为 常 返 状 态 时 ,g;;=1, 即 从 状态 i 出 发 要 无 限 多 次 返回 到 状态 i, 这 就 是 我 们 早 
已 指出 的 常 返 的 意义 .i 为 非常 返 状态 时 ,g;;=0, 即 从 状态 i 出 发 至 多 返回 状态 i 有 限 多 次 ,以 
后 就 再 也 不 回 到 状态 i 了 (但 必须 注意 返回 的 次 数 是 随机 变量 ) ,这 就 是 “ 滑 过 ”的 意义 .一 般 地 ， 
若 j 为 常 返 状态 , 则 对 一 切 i,gy = 广 ; 若 为 非常 返 状态 , 则 对 一 切 i,g; =0, 即 从 状态 i 出 发 至 
多 到 达 状 态 有 限 多 次 . 
定理 3.2 的 证 明 方 法 同样 是 我 们 早已 指出 的 研究 马尔 可 夫 链 的 典型 方法 ,但 这 里 事件 分 解 
的 方法 有 所 不 同 .我 们 把 概率 gj (m +1) 按 首次 进入 状态 j 的 时 刻 x; 的 取 值 进行 分 解 ,然后 再 利 


用 马尔 可 夫 性 及 齐 次 性 .为 了 强调 这 一 事件 分 解 的 方法 ,通常 把 它 称 为 首次 进入 法 . 
定理 3.3 设 i 为 常 返 状 态 ,i->j, 则 


gi=fi=1. 
证 对 任意 m 之 1 及 LEE 
gi 二 Pi( 有 无 穷 多 个 n 之 1 使 X = 1/) 
= 过 Pi(Xo =&; 有 无 穷 多 个 n 之 1 使 X, =1) 


= 这 Pi(X = 上 ;有 无 穷 多 个 n 宇 m +1 使 X, =1) 
= Pi(Xn =&)P( 有 无 穷 多 个 n 宇 m +1 使 X,=1|X, =) 
和 -pip 人 n 之 1 使 X=71)= Dp gw. 
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因为 i 是 常 返 的 ,由 定理 3.2 
0=1- g;= Sy pel — ghi). 


从 而 对 一 切 m 之 1 及 EE, pi "(1 gw)=0. 车 i>j, 必 有 m 之 1 使 pY?>0, 这 时 必须 g, = |. 
但 是 f; 宇 gj; ,因此 广 =1. 口 

下 面 我 们 需要 一 个 十 分 有 用 的 数学 分 析 结 果 ,我们 把 它 写成 一 个 引 理 . 

引 理 3.1 设 1a, ,nn 之 01 为 一 个 不 全 为 零 的 非 负 数列 ,日 满 足 条 件 





lm 一” =0, (4) 


n 


no 
Su 


io, ,7 之 0| 为 一 个 收敛 数列 , 则 
lm ——— = limb,. (5) 


证 设 45=limb,. 对 任 给 e>0, 存 在 N, 使 n 之 N 时 |b ~b| 志 e. 又 设 B= sup,:so15,|, 则 
n 宇 NN 时 


n 


De 
v=0 v=0 v= N+1 
对 固定 的 N, 由 条 件 (4) ,noo 时 ， 





由 此 得 到 


再 令 zs 一 0 即 得 (5). 口 ] 
定理 3.4 对 任意 的 n 宇 1 及 i,jEE 


Ea 


py "= 2) 0 (6) 


v=1 


证 用 首次 进入 法 ,并 注意 到 X, =j 时 rn， 
a 


p=Pi(Xs=))= DPiln,=0,X,=)) 
= > P,(X,=j, Xj,0<k<v, X,=j) 
= DP(X, =j, KAj 0Lk<U PX, =j|X, =j) 
> /py 小 口 


定理 3.5 对 任意 的 i,jEE， 





lim 3: = 方 ， . (7) 


证 把 (6) 式 从 n=1 加 到 n= NNN, 并 交换 和 号 : 


N ”—1 
> » > > /py v)— 之 ， > fo mp 
三 = 


n=1 v=1 


N-1 N-v 
3 > (8) 


我 们 要 利用 引 理 3.1, 取 
oo n>0, bn = 2 f9’ ,n>1,60=.,0, 


现在 验证 条 件 (4) 成 立 .在 > p9 <% 时 ,limp4 =0; 在 2) pg = oo 时 ,由 于 p? 过 1, 仍然 


有 p49/ 2"_。p 一 0. 总 之 ,条 件 (4) 成 立 .再 由 (8) 式 ,并 用 引 理 3.1 即 得 (7) 式 。 口 

通常 把 定理 3.5 及 与 (7) 形 式 相似 的 结果 称 为 比 极限 定理 .由 这 个 比 极限 定理 ,我 们 可 得 到 
一 个 常 返 的 判别 法 ， 

定理 3.6 (1) 状态 i 为 常 返 的 充 要 条 件 是 


(2) 状态 i 为 非常 返 的 充 要 条 件 是 


> pi <, (10) 
n=0 
且 这 时 
PN (11) 
之 Pi 1—f 


证 由 (7) 式 以 及 p=6;，， 
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由 此 ,fi; =1 等 价 于 (9) 式 , f;<<1 等 价 于 (10) 式 , 且 (11) 式 成 立 ， 口 . 
推论 1 若 i 为 常 返 状态 ,i>j, 则 j 也 为 常 返 状态 . 
证 i 为 常 返 状态 , 必 为 本 质 的 . 因此 ie*j ,有 和 之 1， n 之 1 使 p42)>0， pm) >0. 这 时 
p+ +" pr pl ph), 


3 p 之 > pro np pl pl Y= oo ， 

由 此 可 知 j 为 常 返 状 态 . [J] 

”由 推论 1 可 知 ,同一 个 类 的 状态 或 全 为 常 返 的 ,或 全 为 非常 返 的 .相应 地 ,我 们 就 称 这 个 类 为 
常 返 类 或 非常 返 类 .由 定理 2.3 我 们 还 知道 , 若 i,j 属于 同一 个 常 返 类 , 则 g; = f; =1, 也 就 是 
说 ,从 常 返 类 中 的 任意 一 个 状态 出 发 必须 无 穷 多 次 地 经 过 类 中 任何 一 个 状态 .与 此 相反 ,从 非常 
返 类 中 的 任意 一 个 状态 出 发 ,只 能 有 限 多 次 经 过 类 中 的 任何 一 个 状态 .所 以 , 当 非 常 返 类 只 包含 
有 限 多 个 状态 时 ,从 这 类 中 任 一 状态 出 发 ,迟早 要 离开 这 个 类 .特别 ,非常 返 的 本 质 类 必须 包含 无 
穷 多 个 状态 ,因为 本 质 类 是 闭 集 ， 人 由 此 可 得 下 述 推 
论 ， 

推论 2 有 限 马 尔 可 夫 链 的 本 质 状 态 都 是 常 返 状态 ;从 任 一 非 本 质 状 态 出 发 ,必定 要 到 达 常 
返 状态 .不 可 约 有 限 马尔 可 夫 链 的 状态 空间 是 一 个 常 返 类 . 

证 由 于 有 限 的 非常 返 本 质 类 不 存在 ,所 以 对 有 限 马 尔 可 夫 链 ， 本 质 状态 均 为 常 返 的 ， 另 一 
方面 ,从 非 本 质 (也 是 非常 返 ) 状 态 出 发 ,迟早 要 离开 有 限 的 非常 返 关 , 困 此 必定 要 到 达 常 返 状态 . 
不 可 约 链 的 状态 空间 是 一 个 本 质 类 , 故 为 常 返 类 ,， 口 

定理 3.7 若 gj=0, 则 >) p<w; 着 gy>0, 则 >) py =o%0 

证 设 g;=0, 由 定理 3.2,figj=0. 若 =0, 则 对 一 切 ”之 1， 二 )=0, 显 然 有 .py < 
: o -着 gj =0， 则 之 2 由 定理 3.5， 2 py <%, 若 gj= figy >0, 则 由 25>0 知 2 
二 部 为 常 返 状态 ,又 由 于 方 >0, 从 而 由 定理 3.5 知 > bp)= o， 口 

现在 我 们 对 级 数 之 ,,pY 的 化 散 情 况 已 完全 清楚 : 若 ) 为 非常 返 状态 , 则 对 一 一 切 i, 2) py 
< 0m; 车 j 为 常 返 状态 , 则 i 一 j 时 ，Z, pg) = oo ,而 i 罗 j 时 ,该 级 数 项 项 为 零 . 


我 们 再 进一步 解释 级 数 之/，， 名) 的 概率 意义 . 令 Ni 为 状态 j 在 |X1,X，，,…,X。,…| 中 出 
_ 现 的 次 数 : 


N;= > = 咱 
(14 是 集合 A 的 示 性 函数 ) 因此 前 面 所 定义 的 万 及 局 可 写成 ; 
fy=Pi(N,>1), gy=Pi(N)=%). 
不 难看 出 Ni 在 Xo= ; 的 条 件 下 的 数学 期 望 为 : 
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E,;[LNij= 2 El1lix =;1]= 2 P;(X, =j)= py py 


当 ; 为 常 返 状态 时 ,gi = P;(Ni= oo)=1, 自 然 有 >) ,pg 人 =Ei[N]=oo. 当 ;为 非常 返 状 态 
时 ,我 们 虽然 知道 gj = Pi(N; = oo) =0, 但 不 能 立即 断定 N; 的 数学 期 望 有 限 . 所 以 还 是 需要 借 
用 比 极限 定理 来 得 到 定理 3.6 中 的 常 返 判别 法 . 
例 3.1 对 称 随机 游 动 ” 我 们 考虑 (p,q) -随机 游 动 .已 经 知道 n 步 转移 概率 为 
Se -a ntj es 为 偶数 ， 
0 n+j 一 i 为 奇数 . 
j>i 时 ,py = i>0,ph =qg “>0, 即 任意 两 个 状态 相通 ,所 以 链 是 不 可 约 的 . 易 见 
一 个 周期 链 . 周 期 为 2. 
利用 斯 特 林 (Stirling) 公 式 :n! 全 V 2xn (也)" ,我们 有 
(2n) — (27)! "~ (4pq)” 
| pii (n! nl ba) Vn 
车 p 了 1/2, 则 4pq<1,>) p82")< oo , 链 是 非常 返 的 . 若 户 = 1/2, 即 对 称 随 机 游 动 , 则 4pg =1， 
2 ,p89”"= co ,从 而 链 是 常 返 的 
现在 我 们 讨论 平面 上 的 对 称 随 机 游 动 .质点 的 位 置 是 平面 上 的 整数 格 点 (坐标 为 整数 的 点 ). 
每 个 位 置 有 四 个 相 邻 的 位 置 ,质点 各 以 1/4 的 概率 转移 到 这 四 个 相 邻 位 置 中 的 每 一 个 . 易 见 平面 
上 的 对 称 游 动 也 是 周期 为 2 的 不 可 约 链 .. 
我 们 来 计算 质点 经 过 2n 步 仍 回 原 位 置 的 概率 .这 时 质点 必须 与 横 坐 标 平行 地 向 右 移动 
步 ,向 左 也 移动 上 步 ,与 纵 坐标 轴 平 行 地 向 上 移动 ! 步 ,向 下 也 移动 ! 步 , 且 &+1= .因此 


n)! 
i 3 [Ri ， i 0 > (G7 = 让 (GY 


由 于 》) 1/m = oo ,平面 上 的 对 称 的 随机 游 动 也 是 常 返 的 ， 

我 们 再 讨论 空间 中 的 对 称 随机 游 动 .这 时 质点 的 位 置 是 空间 中 的 整数 格 点 ,每 个 位 置 有 六 个 
, 相 邻 的 位 置 .质点 各 以 176 的 概率 转移 到 六 个 相 邻 位 置 中 的 每 一 个 .同样 地 ,空间 中 的 对 称 随机 
游 动 也 是 周期 为 2 的 不 可 约 链 . 

质点 经 过 2n 步 返回 原 位 置 的 概率 w。 可 类 似 地 计算 : 
1 (2n)! 
6°" jk20,jthEn [jl k! (no) —&)!1) 





Un 一 


nl! 


T2272 2 [a k! | 





1 nl 
Se max ,37 k! Eee 
这 里 利用 了 三 项 式 定理 : 


[1 
37j!l k! (nj—-k)!l] 


jk0,j+hEn 
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三 项 分 布 的 最 大 项 在 j 与 & 最 接近 nn/3 时 达到 . 仍 由 斯 特 林 公 式 可 知 ,这 最 大 项 与 1/n 同 阶 , 从 
而 wu 的 阶 数 不 超 过 1/n3?. 但 是 之 ), 1/na2< oo ,因此 与 直线 和 平面 上 的 对 称 随 机 游 动 不 同 ， 
空间 中 的 对 称 随 机 游 动 是 非常 返 的 . 

更 一 般 地 ,我 们 可 以 考虑 4 之 3 维 空间 中 的 对 称 随 机 游 动 . 这 仍然 是 一 个 周期 为 2 的 不 可 约 
链 .可 以 预期 , 这 时 质点 经 过 2n 步 返回 原 位 置 的 概率 u 的 阶 数 不 超 过 1/n*?. 但 是 
>， 1《nas2< oo ,因此 d 之 3 维 空间 中 的 对 称 随机 游 动 是 非常 返 的 .然而 这 是 一 个 在 直观 上 难以 
理解 的 特别 现象 ,很 难 找到 直观 上 可 以 接受 的 理由 ,解释 为 什么 4 之 3 维 空间 与 一 二 维 空间 中 的 
对 称 随 机 游 动 在 常 返 性 上 会 截然 不 同 . 这 个 结果 通常 称 为 波 利 亚 (Polya) 定 理 .在 概率 论 与 数理 
统计 中 ,4d 之 3 维 情形 的 结果 与 一 二 维 时 的 结果 有 本 质 不 同 的 现象 时 有 发 生 , 令 人 注目 ,其 为 有 
起， 口 

定理 3.8 设 P(r<o)=1. 令 

Ye n 之 1， 


则 Y= |Y,,n 宇 01 是 从 i 出 发 的 具有 与 X= | X, ,2 过 0} 相 同 的 转移 概率 和 矩阵 的 马尔 可 夫 链 , 且 
与 (ri;,X，,…,X, ) 相 互 独立 . 

证 首先 注意 到 Yo= X, = i 是 常量 .对 任意 的 n 之 1,k0€EE,k1,…,k， 1EE\ |i| ,mm 之 
PD 


PON X=&4N tn=ni NY,=i) 


=P(N 1X =IN {X= Xi 


=p(N {X= IN {EX, =iDP( {X= X=) 
= IPC 1x =&1N IX = aD) IP (1X =) 


= {pC {X= 61N t= nD) pp ，， (12) 
特别 ,将 (12) 式 对 全 部 的 n 之 1,i0€EE,ki,…,k,-1€E\ 1il 相 加 可 得 


POYI=71 "Yi =) = po (13) 


(13) 即 表明 Y 是 从 i 出 发 的 马尔 可 夫 链 ,与 有 相同 的 转移 概率 和 矩阵 ,而 (12) 表 上 明 Y 与 (x;， 
Xo，… ,XX,,) 相 互 独立 。 口 

定理 3.8 说 明 马 尔 可 夫 链 X 从 时 刻 r; 开始 ,好 像 又 从 头 开始 一 样 , 只 是 固定 从 状态 i 出 发 . 
这 个 结论 实质 上 是 >; 为 X 的 停 时 这 一 事实 的 推论 ,而 马尔 可 夫 链 从 xr; 开始 与 六 之 前 的 状况 独 
立 的 结论 ,还 得 自 于 X,, = i 是 常量 这 一 因素 . 

定理 3.9 设 i 为 常 返 状态 . 令 

ri(0)=0, ri(k)=inf{fn>r(k—1):X,=i|, k 之 1, (14) 

45 。 


wi(k)=r(k)—r(k—1), kk 之 1， | (15) 


则 {vw;(&)， 之 1| 为 独立 随机 变量 序列 ， 1 wi;( 上 ) ,k 之 21 同 分 布 ， ee 


证 由 状态 i 的 常 返 性 ,对 一 切 之 1,r;(&) 为 有 限 停 时 , 它 是 第 & 次 返回 状态 ; 的 时 刻 . 显 
然 ,r;(1)=r;. 令 


Y(t = {YW ,n>01!, Ys n 宕 0. 
易 见 ,w;(2) 是 YW 的 首次 返回 i 的 时 刻 .由 定理 3.8, YW 与 X 同 转移 概率 和 矩阵 ,与 w(1) = 
ri(1) 独 立 , 因 此 wwi(1) 与 zwi(2) 独 立 .实际 上 ,定理 3.8 对 每 一 个 ~ (&) 适 用 . wi(k+1) 是 YY 人 *) 
的 首次 返回 i 的 时 刻 . Y%) 与 久 同 转移 概率 分 布 ,与 (Xi ，…,X, (4)) 独 立 , 而 (w;(1),…, wi(k)) 
由 (Xi,…,X,(w)) 的 取 值 所 决定 ， 因此 vw; (上 + 1) 与 (vw; (1),…, w; (上 上 )) 独 立 . 由 此 即 知 ， 
fwi(k),k 之 1| 为 独立 随机 变量 序列 .注意 到 Y( 都 是 从 i 出 发 的 ,因此 | w,(k),k 宇 2| 同 分 布 ， 
我 们 早已 知道 ww (2) 的 分 布 是 17) ,n 之 11 .如 果 P(X0= 让 =1, 则 |w (8),k 实 1| 为 ii.d.， 口 
习 是 
3 一 1. 设 有 两 个 状态 的 马尔 可 夫 链 的 转 称 概率 答 阵 为 


-| a | 
TI 六 By" 
求 (fY77),n 宕 1. 

3 一 2. 设 马尔 可 夫 链 的 转移 概率 和 矩阵 为 





1 1/2 1/4 1/4 
1 ; 2 0 1/2|; 
( | a (2) 
1/2 1/2 0 
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求 矩 阵 ( f;). 
3 一 3. 证 明 : 对 一 切 i ,j,kEE， 
(1) 从 i 出 发 经 过 j 之 后 再 又 到 达 上 上 的 概率 : 


PA(U UD 1X X= 1) = ffi 
(2) fa fifir. 
3 一 4. 若 在 一 个 本 质 类 中 存在 两 个 状态 i,j 使 得 f; = 户 =1, 则 这 类 是 常 返 的 . 
3 一 5. 证 明 : 若 对 一 个 不 可 约 链 , 存 在 一 个 状态 及 正常 数 a>0, 使 得 对 一 切 j 关 k, fi 之 a， 
则 链 是 常 返 的 . 
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3 一 6. 设 j 为 常 返 状 态 .证 明 : 对 一 切 i€ 上 上 上， 


户 =Pi(UixXecG)h， 


3_7. 设 状态 i 的 周期 为 d. 证 明 ;d 是 |n 之 1: fi >01 的 最 大 公 因 子 . 
3 一 8. 设 马 尔 可 夫 链 的 状态 空间 为 Z ,转移 概率 为 : 


pi,i+a™— pb， Pi,i-bp— 4d， BE 
p>0,g>0, p+q=1, 
4 与 b 为 两 个 互 质 的 正 整 数 , 则 马尔 可 夫 链 为 不 可 约 的 , 且 pa = qb 时 , 链 为 常 返 的 ,pa 天 9 时 ， 
链 为 非常 返 的 . 
3-9. 设 有 限 马 尔 可 夫 链 有 a 个 状态 ,k 为 常 返 状态 .证 明 : 存 在 常数 9q,0<gq<1, 使 得 n> 
a 时 ,从 出 发 首次 返回 上 的 时 间 大 于 n 的 概率 


| pi(ri>n)<qg". 
3 一 10. 设 j 为 非常 返 状态 ,N; 为 |X,,n 之 1 中 状态 j 出 现 的 次 数 .证 明 : 


1- f)fs !, 之 1， 
P= n= 13)f " 
1 一 方 ， =0. 


§ 2.4 了 吸收 概率 与 平均 吸收 时 间 


在 前 一 节 中 ,我 们 虽然 给 出 了 状态 为 常 返 的 一 个 判别 法 ,但 这 个 判别 法 是 利用 高 阶 转 移 概率 
的 性 质 来 表述 的 .然而 高 阶 转移 概率 的 计算 本 身 就 是 一 个 困难 的 课题 ,所 以 这 个 判别 法 在 实际 上 
并 不 是 那么 可 行 的 .同样 地 ,虽然 我 们 有 比 极限 定理 可 用 来 计算 方 ,但 必须 先 计 算 高 阶 转移 概 
率 ,再 求 部 分 和 ,这 也 处 于 同样 的 困境 之 中 .在 这 一 节 中 我 们 要 另 壁 途径 ,用 解 线性 方程 组 的 方法 
来 解决 这 些 问题 .对 于 马尔 可 夫 链 ,许多 概率 和 数字 特征 往往 是 一 个 非 负 系数 的 线性 方程 组 的 最 
小 非 负 解 . 因此, 非 负 系 数 的 线性 方程 组 也 就 成 为 研究 马尔 可 夫 链 的 一 个 重要 工具 .我 们 将 按 昭 
需要 ,逐步 深入 讨论 非 负 系 数 线性 方程 组 的 性 质 . 
引 理 4.1 设 给 出 线性 方程 组 
zi= Dy anzet bi, i€E, (1) 
其 中 qj 之 0,6; 之 0,i,kEE. 定义 


xD 一， 二 n 之 lI， i€E 上 ,， 


则 iz? ,i€E El 是 方程 组 (1) 的 最 小 非 负 解 . 
证 注意 到 u'” 宕 0， 
.47 。 


es > u(") = (DD) 十 > (n+l) = p+ > Pah 


=b; + ea > ul” =b, 十 2 Qi . 


所 以 fz? ,iE El 是 方程 组 (1) 的 非 负 解 . 
设 {z;,iEEl 也 是 方程 组 (1) 的 非 负 解 ,我 们 要 证 明 z, 宇 z* ,iE 玉 .为 此 只 要 证 明 , 对 一 切 
7 之 1 


z; 宇 z(”") = > zx) iEE. (2) 
v=1 
我 们 用 归纳 法 证 明 (2) 式 .n=1 时 是 容易 看 出 的 : 
Ci Danstt hb =ul = zh, i€E. 
3 


设 (2) 式 对 2” 成立 , 则 
ny 
有 加 
人 > janzi + bi> Djaiz bh” + b;= Sw we ) + 这 ) 
k v=1 
4 上 六 二 上 


因此 (2) 式 对 n +1 也 成 立 ， 口 

在 引 理 4.1 中 ,我 们 没有 注意 级 数 的 收敛 性 问题 ,这 是 因为 这 些 级 数 全 是 正 项 级 数 ,即使 发 
散 到 + % ,也 不 影响 结果 的 正确 性 . 

将 线性 方程 组 (1) 写 成 矩阵 的 形式 更 为 方便 . 记 


则 方程 组 (1) 可 写成 
Z=AZ+B. (3) 


现在 可 用 明显 表达 式 写 出 最 小 非 负 解 (一 向 量 大 于 另 一 向 量 是 指 ,该 向 量 的 分 量 均 大 于 另 一 向 量 
的 相应 的 分 量 ). 记 


zi ut” 
ZZ*= Zi Un) 一 ub”) ， nn 宇 1， 
则 我 们 有 
UVM=B, UV=AU™=.…=A"U =A"B,， n>1, 
2°= D4"B=( >) 4")B. (4) 
n=0 n=0 
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把 方程 组 写成 (3) 的 形式 还 有 一 个 好 处 , 那 就 是 我 们 也 可 以 讨论 Z 为 矩阵 的 情形 ; Z = 
(名 ), 这 时 常数 项 B 也 是 矩阵 :有 = (6b;). 换 句 话说 ,我 们 讨论 一 系列 的 线性 方程 组 :固定 一 个 j， 
就 有 一 个 方程 组 
Zi 一 2 anzy + b;, i€EE. 


这 些 方程 组 仅仅 常数 项 不 同 .显然 ,这 时 最 小 非 负 解 仍然 由 (4) 式 给 出 (同样 地 ,一 个 矩阵 大 于 另 
一 个 矩阵 是 指 , 该 矩阵 的 每 个 元 素 均 大 于 另 一 矩阵 的 相应 元 素 ). 
定理 4.1 对 任意 的 jEE,1f;,i€EEl 是 线性 方程 组 


z; = 2 Pur + po i€EE (5) 
的 最 小 非 负 解 | 
证 由 于 /= 2 fy?,f 如 = po, 如 果 我 们 能 够 证 明 
f° Y= 2 paf¥), n>l, (6) 
则 由 引 理 4.1 即 得 定理 的 结论 了 .下 证 (6) 式 成 立 ， 
A Dc 0 
SP (Xr Xa = 


天] 
= DP(X1= EP(X, =, Xj SuSn|X =k) 
La 
= DPaPi(X, =j, Xzj 1SvAn -1)= Zpafl”). 口 
zj 2 


推论 不 可 约 链 为 常 返 的 充 要 条 件 是 存在 i EF, 使 对 一 切 & 关 i 有 f=1. 
证 由 定理 3.3, 若 i,j 属于 同一 个 常 返 类 , 则 方 = 方 =1, 由 此 即 得 必要 性 .下 证 充分 性 .这 
时 由 (5) 式 ， 
fi= 2 pafs + pi = SD pi + pi = i 
ki Laki 二 
因此 链 是 常 返 的 ， 器 
现在 我 们 对 方 作 更 细致 的 讨论 . 设 i 为 常 返 状态 , 则 jE C(i) 时 fy=1,jFC(i)NH f=0. 
所 以 ,只 要 讨论 i 为 非常 返 状态 的 情形 . 
今后 以 工 记 非常 返 状态 全 体 . 
设 ) 为 常 返 状 态 . 对 常 返 的 k,kE C(O)NH fy=1, 而 kgC(I) 时 ==0, 因 此 
f= 2 pafs + ps = 2 pafy + 人 > 加， i€T. (7) 
pe k AEC(U 
设 ) 为 非常 返 状态 ,对 常 返 的 &, 刻 =0, 因 此 
= 2 pifs + ps = > pafy t+ psy, i€ET. (8) 
ki jeET 


引 理 4.2 设 和 z;* ,iE EE| 为 线性 方程 组 (1) 的 最 小 非 负 解 , GCE , 则 线性 方程 组 
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ZUi 一 PD aw + ( Ser +6, )， i€EG 


kEG kG 


的 最 小 非 负 解 了 一 Zz? ,i1€G. 


(9) 


证 iz; ,i€E G1! 显然 是 方程 组 (9) 的 非 负 解 ,因此 有 wwr 委 ziEG. 下 证 相反 的 不 等 式 成 


立 . 由 引 理 4.1 的 证 明 可 知 , 只 要 证 明 对 一 切 x 
wi" 之 z(")， i€G, 


这 里 


w=b, wl)= Dy aw + ( ai +6;). 
kEG- kG 
我 们 用 归纳 法 证 (10) 式 .n=1 时 
w= Dj anzt + hb; 宕 b;= zl 
kG 


是 明显 的 . 设 (10) 式 对 n 成 立 .注意 到 = ”之 zf ,我 们 有 


wi”" 一 aiot tt ine + ob; 


kEG kG 


> Paneh? + Del + he, OO 


kEG kG 


定理 4.2 (1) 设 j 为 常 返 状 态 , 则 | ,iE | 是 线性 方程 组 


zi= 2) pizet 小 pix, iET 


: kET k€E C(y) 
的 最 小 非 负 解 ; 
(2) 设 j 为 非常 返 状态 , 则 1f; ,iE Ti 是 线性 方程 组 
六 让 一 Pizk + Pi, i€ET 


了 天 天 所 了 


的 最 小 非 负 解 . 


(10) 


(11) 


(12) 


证 由 (7) 及 (8) 式 可 知 ,方程 组 (11) 及 (12) 是 在 方程 组 (5) 中 代入 部 分 最 小 非 负 解 zk = 


万, 多 下 所 得 ,因此 由 引 理 4.2( 其 中 的 G 取 为 了 ) 即 得 定理 的 结论 口 
推论 。 设 状态 j,k 属于 同一 个 常 返 类 , 则 


fn Ss 


证 这 时 |f;,i€ETI 及 | fi,i€E | 是 同一 个 线性 方程 组 (11) 的 最 小 非 负 解 ,因此 相等 . 


例 4.1 设 转移 概率 和 矩阵 为 


1/5s 1/5 1/s 1/5 1743 
0 14 1/4 1/4 1/4 
0 0 1《3 23 0 
0 0 1 0 0 
0 0 0 0 1 
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我 们 来 计算 矩阵 ( 方 ). 首 先 讨 论 状态 的 分 类 :人 = 10,11, 而 12,31 及 141 是 两 个 常 返 类 . 由 此 即 知 
20= f21=0,f2= fa3=1,f24=0;f30= fa =0, f3 = f33= 1, fa4=0;f40= fa = f= fa3=0, 
f44=1. 由 方程 组 (11) 


1 1 1 1 1 
re fu ft 


因此 fi2=2/3,f14=1/3. 由 定理 4.2 的 推论 , f13= f1,=2/3. 再 由 (11) 式 


fmt st (+3] ju= 了 /+ 本 As+ 二 ， 
因此 Jo =243 ,jos=1743. 同 理 , fo3= fos=2/3. 注 意 到 从 出 发 或 停留 原状 态 ,或 进入 常 返 状 态 ， 
即 1*0, fio=0. 由 (12), 证 = 1/4， 


1 1 1 1 1 1 
fo= sfints=3, fu= sfots, fo = 


所 以 


1/5 1/4 2/3 2/3 1743 
0 1A4 2/3 2/3 1/3 
(fi) > 0 0 1 1, 0 |. 口 ] 





0 0 0 0 1 
例 4.2 有 一 个 吸收 壁 的 随机 游 动 随机 游 动 的 状态 空间 限制 为 := 10,1,2,…| ,转移 概 
率 为 
poo=1,pi,it1i= p,pi,i-1=q9=1- p,i21,0<p<1. 


质点 在 状态 i 了 0 时 , 游 动 状况 与 (p,g) 随 机 游 动 一 样 .但 状态 0 是 吸收 状态 . 它 好 比 一 个 吸收 
壁 ,质点 一 旦 被 它 吸 进去 , 游 动 就 结束 了 . 

j 天 0 时 /一 0, 但 0xj ,因此 j 关 0 是 非 本 质 状态 . 若 i 隆 0,j 关 0, 则 i) ,因此 T= 141,2,…| 
是 一 个 非 本 质 类 .我 们 来 求 从 j 关 0 出 发 最 终 被 状态 0 吸收 的 吸收 概率 fio. 由 定理 4.2,| fio,j 宇 
li 是 线性 方程 组 


es 


Zi= pz+1it qz-1, Jj 宇 2 (13) 
的 最 小 非 负 解 .将 (13) 改 写成 


ee 
p(xi+1— zi)= g(z— z;.1), J 之 2， 


从 而 可 得 ， 
J 
| ol 


.$1 。 


zji+1l1 一 三 ~ 区 0 J 之 0. 
车 p<q, 即 p<<12, 则 >)'_，(q/p)" 一 ,但 作为 最 小 非 负 解 的 | fo,j 之 1| 是 有 界 的 , 因 
此 只 能 fio=1, 从 而 对 一 切 j 之 1,fjo=1. 若 p>q, 即 p>1/2, 由 于 我 们 只 讨论 非 负 解 ， 


J vy 三 本 
om n=lin[it DE) D1 


v=0 1— 
p 
由 此 可 得 
Ss [| < 之 六 ， 
J v jy+1 
i | ,了 
E20 之 p p p 2 


男 一 方面 ,不 难 直 接 验 证 | zx; = (g/p)’,j 之 1| 是 方程 组 (13) 的 解 ,所 以 它 就 是 最 小 非 负 解 , 即 
fio=(q/p)’',j 之 1. 所 得 结果 的 直观 意义 也 很 明确 . 当 p 委 172 时 ,从 任何 一 个 状态 j 宇 1 出 发 , 迟 
早 要 被 状态 0 吸收 : 

P;(lim X =0)=1. 


这 里 p=1/2 时 的 结论 单 任 直观 的 猜测 是 难以 想到 的 . 当 户 >172 时 ,如 果 质 点 的 初始 位 置 j 宇 1， 
则 


Pi;(limX,=0)= (4). 


另 一 方面 ,TT 是 非常 返 的 :从 j 出 发 到 达 任 何 一 个 状态 之 1 至 多 有 限 次 .因此 如 果 质 点 不 被 状态 
0 吸收 ,对 任意 之 1, 质 点 迟早 要 永远 离开 |1,2,…,k|, 也 就 是 要 向 无 穷 远 处 跑 去 : 
(1 二 00) 二 1 一 QTY 
P;( lim X， )=1 忆 ) E El 
例 4.3 有 两 个 吸收 壁 的 随机 游 动 ” 随 机 游 动 的 状态 空间 限制 为 10,1,…,a 一 1,a1, 转 移 
概率 为 


po = paa =1, 
piviti= pspisi1=4q-1-p,l<i<a -1,0< p<1. 


现在 0 与 1 是 两 个 吸收 状态 ,T= |1,2,…,a 一 1 为 非 本 质 类 .我 们 仍 来 求 吸收 概率 fo, 请 ,1 委 
ja -1. 由 有 限 链 的 性 质 ( 定 理 3.6 的 推论 2) 可知 fo+ f;。=1, 因 此 只 需求 fo 即 可 .由 定理 
4.2, 只 要 解 线性 方程 组 l 
z1™ pz2+ gq,， 
w= prit gr-i, 2<j<a-2, (14) 
Za-1 一 Qza-2， 


。， 2 。 


如 果 定 义 zo=1( = foo),x=0(= fo), 则 方程 组 (14) 可 统一 地 写成 
zj = pz;+1t qe 1, lj 二 a 一 1. 
解 这 个 方程 组 并 不 困难 : 
pzi+l — zj)=q(z,;— zj -1)， 


J 
| (zi — zo0), 
Sad (2) (D1<ji<e 5 


v=0 


由 zo =0 解 得 
S$ QT 
1— zi= i 
| [有 
二 
1 p=7， 
fo=z=4 {2 {aY 1<j<a-1. 
1 
9 Pp 天 二， 


a 
容易 看 出 , 当 a 一 时 ,上 式 中 的 fio 的 极限 就 是 例 4.2 中 所 求 得 的 结果 .这 是 合乎 情理 的 ,因为 
把 右面 的 吸收 壁 移动 到 无 穷 远 处 , 例 4.3 就 化 成 例 4.2 了 . 

这 个 例子 所 讨论 的 问题 在 很 多 概率 论 教科 书 中 都 可 找到 .一 方面 ,这 是 因为 方程 组 (14) 可 以 
直接 用 全 概率 公式 简单 地 推导 出 来 ,理解 这 问题 也 不 需要 了 解 马尔 可 夫 链 的 概念 . 另 一 方面 ,还 
因为 这 个 问题 就 是 概率 论 历史 上 一 个 极为 著名 的 问题 一 一 “ 赌 徒 输 光 问题 ”. 它 原来 的 叙述 是 这 
样 的 :甲乙 两 个 赌 徒 进行 一 系列 的 赌博 .在 每 一 局 中 甲 获 胜 的 概率 为 p, 乙 获胜 的 概率 为 g. 假 
设 各 局 赌博 的 结果 是 相互 独立 的 .每 一 局 后 ,失败 者 付 给 获胜 者 一 元 钱 .假设 开始 时 甲 有 8 元 ， 
Z 有 上 元 .赌博 一 直 进 行 到 有 一 个 人 全 部 输 光 为 止 . 求 甲 或 乙 输 光 的 概率 各 是 多 少 ? 记 
a 二 b+c. 以 X, 表示 赌 了 n 局 之 后 甲 手中 的 赌 金 ,那么 {X, ,2 之 01 就 是 我 们 上 面 讨 论 的 有 两 个 
吸收 壁 的 随机 游 动 , 且 游 动 从 Xo= 6 出 发 .质点 被 状态 0 吸收 表示 甲 输 光 ,被 状态 a 吸收 则 表示 
乙 输 光 .因此 甲 及 乙 输 光 的 概率 即 分 别 为 foo 及 万 . 

分 析 一 下 所 得 的 结果 是 十 分 有 意思 的 . 当 p=g=1/2 时 , 即 甲乙 两 人 的 赌 捕 本 领 相 当时 ， 


及 ;了 .显然 , 谁 的 初始 赂 本 大 , 谁 就 处 于 有 利 的 地 位 .但 p 关 


4 时 ,一 下 子 还 无 法 看 清 究竟 是 p 大 还 是 5 大 起 主要 作用 .为 此 我 们 给 出 一 些 数值 的 结果 .下 表 
是 从 其 中 一 个 赌 徒 的 观点 来 计算 的 . 


对 手 的 赌 本 每 局 获胜 的 概率 输 光 的 概率 
















ET 
0.40 0.983 
0.40 0.333 
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从 上 表 中 可 看 出 ,尽管 在 赌 本 上 占有 明显 的 优势 ,但 本 领 差 的 话 ,还 会 落 到 一 个 糖 糕 的 结局 . 
这 无 疑 给 了 我 们 一 个 启示 :有 高 超 的 技术 比 拥有 雄厚 的 资本 更 为 重要 . 0 

例 4.4 ”分支 过 程 ”考虑 一 个 群体 的 “繁殖 "问题 .开始 时 群体 所 含 个 体 数 记 为 Xo ,它们 称 
为 第 零 代 的 个 体 .第 零 代 个 体 的 后 代为 第 一 代 , 第 一 代 的 个 体 个 数 记 为 X1. 这 样 继续 下 去 ,一 般 
地 ,第 n 代 是 第 n -1 代 的 后 代 , 第 n 代 个 体 的 个 数 记 为 X, .我 们 假设 ,同一 代 中 各 个 个 体 所 产 
生 的 后 代 个 数 是 相互 独立 的 , 且 与 群体 以 前 的 繁殖 过 程 无 关 . 每 一 个 体 所 产生 的 后 代 个 数 是 
随机 变量 , 且 分 布 为 


| PpP(&=k)= g:， 上 之 0. (15) 
下 面 就 是 这 个 繁殖 模型 的 严格 的 数学 描述 . 
设 | 6 n,m =1,2,…} 为 独立 同 分 布 的 取 非 负 整 数值 的 随机 变量 ,其 共同 分 布 由 (15) 给 


出 . Xo 是 一 个 与 1&,, ,n,m =1,2,…| 独 立 的 取 非 负 整 数值 的 随机 变量 ,|X, ,2 之 十 按 下 式 递归 
地 定义 : 


Et th st Er 人 若 X， 1 之 1， 
六 ,二 ” 7 之 1 . (16 ) 


0， 若 X, 1=0， 


由 此 可 知 , 若 已 知 X，1= i 宇 1, 则 X, 的 分 布 是 i 个 独立 同 分 布 随机 变量 之 和 的 分 布 (容易 看 出 ， 
Da X,-1=0, 则 X=0. 
因此 X 的 分 布 只 与 X, -1 的 值 有 关 , 与 Xo， SM ,nn 之 0| 为 马尔 可 夫 链 .这 
种 形式 的 马尔 可 夫 链 就 称 为 分 支 过 程 . 

为 了 决定 分 支 过 程 的 转移 概率 ， 我 们 要 利用 概率 分 布 的 母 西数 这 数学 工具 . 

引 理 4.3 设 7,81,562，,… 为 相互 独立 的 只 1 取 非 负 整 数值 的 随机 变量 , 16, ,n 之 1| 具 有 共同 
的 分 布 ,其 母 函 数 记 为 H(z). 定 义 


se 若 
的 
0， 右 


之 1， 
=0， 


局 


则 & 的 母 函数 为 
Gr(z)= G,(H(z)). 
证 当 v=0 时 ,理解 [1+… + 为 零 ,那么 
Gr(z)= (ER 


一 2, PCy= 0 bt tb =k) 


PC 网 2 POY 


> Pp(L+e+ ,=k)z = E[ztt™ t+] 
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从 而 得 到 


Gr(z)= 2 P(7=v)[LH(z)]=G (H(z)). OD 
利用 上 述 引 理 ,我 们 就 能 写 出 分 支 过 程 的 高 阶 转移 概率 的 母 函 数 了 . 记 


G(z)= 2 gk. 
显然 ,G(z) 是 确定 分 支 过 程 性 质 的 最 基本 的 数字 特征 . 记 


F(z)= > py Yk. 
设 Xo=1, 则 Fi,(z) 即 为 X, 的 母 函 数 .现在 由 定义 式 (16) 及 引 理 4.3 可 知 


Fu(z)=F ICG(z))=F ,2(G(G(z)))=…: 
= FI0(G™ (2))= GC), (17) 


这 里 Fio(z)= >, ,ob =, Gz)=G(G(G(z)).…). 
n 次 
设 X0= i 之 1, 则 F(z) 为 X, 的 母 函 数 .这 时 X, 是 i 个 第 零 代 的 个 体 所 衍生 的 第 n 代 个 体 
之 和 .按照 假定 ,这 i 个 第 零 代 的 个 体 繁殖 后 代 的 情况 是 相互 独立 的 ,而 每 一 个 第 零 代 个 体 所 衍 
生 第 n 代 个 体 数 的 母 函 数 为 Fi,(z), 因 此 我 们 有 


F(z)=[F,(z)]:=[(G™(z)]. (18) 
这 样 ,由 G(z) 及 (17),(18) 式 完全 确定 了 分 支 过 程 的 转移 概率 ,虽然 要 给 出 pi 的 明显 表达 式 


是 困难 的 . 
作为 (18) 式 的 一 个 应 用 , 若 m= 2 ,kgi=G'(1)<%, 则 


1 
[GHz)] |aG (DIG Dz) |= =[G (1)]"= 
E[X,|Xo=i]= FF,(1)= im”. 


1X, =01 表 示 群 体 在 第 n 代 已 灭绝 .显然 ,“0” 是 一 个 吸收 状态 .今后 我 们 总 假设 0< go<1. 
不 然 的 话 ,go =0 意味 着 每 个 个 体 至 少 有 一 个 后 代 , 只 要 g,<<1, 群 体 总 数 只 增 不 减 , 必 定 趋 于 无 
穷 (每 个 个 体 始终 只 生 一 个 后 代 的 概率 随 g? 趋 于 零 而 为 零 ) .但 g| =1 的 情形 是 毋 需 讨论 的 平凡 
情形 ,这 时 群体 的 总 数 在 每 一 代 都 保持 为 定数 . go= 1 是 毫 无 意义 的 ,因为 这 时 X =0,n 实 1. 现 
在 由 (18) 可 知 i 关 0 时 

pio= Fn(0)=EF1(0)]=[G(0)]= g; >0, 
即 i->0, 但 0xi, 所 以 i 天 0 都 是 非 本 质 状态 ,“0” 是 唯一 的 吸收 状态 .对 于 这 样 的 马尔 可 夫 链 , 首 
要 的 自然 是 讨论 从 状态 i 关 0 出 发 被 状态 “0” 吸收 的 概率 fo, 也 就 是 开始 时 群体 有 i 个 个 体 ,但 
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迟早 要 灭绝 的 概率 .这 就 是 分 支 过 程 的 灭 种 问题 . 
由 于 状态 “0” 是 吸收 状态 , fio = lim,w p83*(1p8*1 单 调 上 升 ). 由 (18), p68? = Fi (0)= 
[Fi,(0)]’= (p48 )', 故 得 
fio= (fy0)', i 之 1. 
所 以 只 要 讨论 fio 就 行 了 , fio 就 称 为 分 支 过 程 的 灭 种 概率 . 
” 引 理 4.4 设 下 (z) 为 概率 分 布 | 有 ,之 0 的 母 函数 :F(z)= 祖 )，_。 fis,0< fo<1, 则 方程 
z= F(z) (19) 
有 最 小 正 根 z” .此 外 ， 
1) m = 2 & 几 委 1 时 ,z ”=1; 
2) 和 >1 时 ,z”*<1, 且 xz ”是 这 方程 在 (0,1) 中 的 唯一 的 根 . 
证 令 zl1= 下 (0)= 矿 ,z 1= 和 上 (z，), 22 之 1, 则 
0< z, 委 zl1 和 1， 7 之 1. (20) 
不 难 用 归纳 法 证 (20) 式 .0< zi = fo<1,zi=F(0) 过 F(z1)= zs 夺 F(1)=1(F(z) 在 [0,1]j 上 为 
单调 上 升 连续 函数 ) ,因此 n=1 时 (20) 式 成 立 . 设 (20) 式 对 2 成立, 则 
zat+1= F(z )EF(z+1)= za+2 人 EF(1)=1, 
即 (20) 式 对 n + 1 也 成 立 . 


记 > =lim,wwmzi;y 则 xz” = 二 F(x”),z 之 万 >0, 所 以 z 为 方程 (19) 的 正 根 . 设 乏 也 为 这 方 
程 的 正 根 , 则 


| 


= 下 (z) 之 下 (0) = zi. 


用 归纳 法 易 证 z 之 z, .事实 上 , 若 z 之 z,, 则 达 z= 下 (z) 宇 F(z,)= > 1. 由 此 即 得 z 之 xz” ,所 以 
z "为 方程 (19) 的 最 小 正 根 . 

先 讨 论 fo+ i=1 的 情形 .这 时 mx = fi<1, 且 由 直接 计算 可 知 (19) 只 有 了 唯一 的 根 z* = 1. 

现在 讨论 0< fo+ fi<1 的 情形 .这 时 F(z)=2 户 +6 户 +… 在 (0,1) 上 恒 为 正 , 因 此 F(z) 
在 [0,1j 上 为 严格 单调 上 升 函 数 .此 时 又 分 两 种 情况 如 下 : 

当 m 夺 1 时, 即 庆 (1)= mm 二 1. 由 于 F(z) 在 [0,1] 上 严格 单调 上 升 , 所 以 xzE(0,1) 时 
F'(z)<1. 由 中 值 定理 ,对 和 任 一 zE (0,1), 存 在 wE(z,1) 使 


F(z)—-F(1)=F(w)(z—-1)>z-1. 
由 于 F(1)=1, 即 得 F(z)>z. 所 以 方程 (19) 在 (0,1) 中 无 根 ,但 1 总 是 这 方程 的 根 ,因此 


z ”三 1 . 
当 m>1 时 ,由 F(z) 的 连续 性 ,存在 zo€ (0,1) ,使 zE(zo,1) 时 下 (z)>1. 同 样 由 中 值 定 
理 ,对 任 一 ziE(zo,1), 存 在 zwE(zli,1) ,使 得 


F(zi)—- F(1)=F(w)(z1 -1)<zi-!1, 
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即 得 F(zi)- zi<0. 但 F(0)-0= 太 >0, 因 此 方程 (19) 在 (0,zt) 中 有 根 , 从 而 z"“<1. 若 (19) 
在 (0,1) 中 有 两 个 根 :0< zl1< zz<1, 则 由 罗 尔 (Rolle) 定 理 , 有 wlE(zi,zz),wzE(zz, 上 ), 使 
F(mi)=F(m)=1, 再 由 罗 尔 定理 又 有 wvE(wi,rw2), 使 让 (wv)=0, 与 握 (z) 在 (0,1) 上 和 恒 为 
正 矛盾 .所 以 z* 是 方程 (19) 在 (0,1) 中 的 唯一 的 根 . 口 

现在 将 引 理 4.4 用 于 灭 种 概率 的 讨论 .注意 到 pl8? = (p18))'， 


pi = go= G(0), 


pl epi(X 0 2 P(X = EX 0) 


- > pps = > gi( po) := G(pie), 


因此 , 灭 种 概率 fio= lim, -wz 他 ) 正 是 方程 z= G(z) 的 最 小 正 根 .m = 之 ,，， kgs 是 一 个 个 体 产 
生 的 后 代 个 数 的 平均 数 . 当 1 时 ,fio=1, 从 而 对 一 切 i 之 1, fo=1, 即 群体 迟早 必定 要 灭绝 
(这 事实 在 m =1 时 直观 上 并 不 明显 ). 当 m >1 时 ,群体 以 (fio)’ 的 概率 灭绝 (i 为 开始 群体 中 
个 体 的 个 数 ) , 即 
Pi(lim X, =0)= (fi0)’. 
注意 到 i 取 0 都 是 滑 过 状态 ,就 像 讨论 有 一 个 吸收 壁 的 随机 游 动 时 一 样 ,我 们 有 
Pi(lim X= %)=1- (fi0)". 

当 fio 很 小 ,i 很 大 时 ,1 ~ (Po 六 十 分 接近 于 1 ,群体 中 个 体 个 数 几 乎 总 要 变 成 无 穷 .这 可 以 
作为 原子 核 连锁 反应 中 导致 爆炸 的 数学 说 明 . 事 实 上 ,可 以 用 分 支 过 程 近似 地 刻画 原子 核 连锁 反 
应 .一 个 中 子 与 裂变 物质 发 生 随机 碰撞 ,产生 多 个 中 子 , 产 生 个 中 子 的 概率 为 gr,&Z>1.go 是 
一 个 中 子 不 与 裂变 物质 碰撞 而 潭 灭 的 概率 .一 次 裂变 产生 的 中 子平 均 数 m 很 大 ,因而 灭 种 概率 
fo 很 小 .在 引爆 原子 弹 时 ,使 初始 的 中 子 数 i 很 大 ,从 而 导致 爆炸 . 口 


现在 我 们 回 到 方程 组 (11) 上 来 .在 例 4.3 中 ,这 方程 组 有 唯一 的 解 ,但 在 例 4.2 中 ,这 方程 组 
的 解 不 唯一 .下 面 我 们 就 来 讨论 这 方程 组 有 唯一 解 的 条 件 . 这 等 价 于 讨论 齐 次 方程 组 


Zi pe 
* i€ET (21) 
|z;| 志 1,， 
的 解 全 为 零 的 条 件 . 
引 理 4.5 设 给 出 齐 次 线性 方程 组 
Zi 一 2 
人 i€E, (22) 
|z; | 二 1， 


其 中 a 之 0, > ,ax 二 1,i,kEE. 定 义 
xD = Pau, ul"+l) = 人 ,克之 1 ， i€E, 
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则 uy wi, 且 {wu;,iEEl 是 方程 组 (22) 的 解 ， 

设 ju’,iEEl 也 为 方程 组 (22) 的 解 , 则 

lusl<u, iE€E 

(因此 |u;,iEEl 称 为 方程 组 (22) 的 最 大 解 ). 

证 先 用 归纳 法 证 明 wi” 单调 下 降 . 由 假设 wi 二 1, 因 此 

2 多 = Dau an=u, i€EE, 
设 uu -DD,iEE, 则 
sD Dean Danb Y= us, i€E. 

由 此 即 知 u(y wu;,iEE. 注 意 到 级 数 户 ) axub"” 关于 nn 一 致 收 贫 ,在 uw"*W 的 定义 式 中 取 极 


限 4 一 00, 即 知 |u,iE | 是 方程 组 (22) 的 非 负 解 . 
对 方程 组 (22) 的 另 一 组 解 |u' ,ieE EE| ,我 们 用 归纳 法 证 明 , 对 一 切 nt， 


lu’l<u", i€EE. 
因为 | ui;| 夺 1,i€EE, 所 以 
lS Pauluil< Zan= ut, i€EE. 
设 |u’| 志 wu 人 " ,i€EE, 则 | 
lS Paul uil® 2 anrb = uw, i€E. 
由 此 即 得 |u;| 志 ui,iE€EE. [] 
定理 4.3 设 v 为 从 状态 i€E 了 出 发 ,但 永远 停留 在 工 中 的 概率 : 


v=P,((\ {XE TI), i€T, 


则 1w; ,iE 工 | 为 方程 组 (21) 的 最 大 解 ，- 


证 记 v4"=P,( 门 {X,ETI),iET. 易 见 
u=1 


ut = D> pal ， 


kET 


n+l 
v "+l)=Pp.,( NN {X, ET})= DP;(X1=k, XE TT,"*, Xr+1E TT) 
1 


kET 


n+l 
= DpaP( (| {XETIXI=8)= Dpwl, iET. 
v=™2 kET 


kET 


由 引 理 4.5 即 知 ,iw;,iE€ 工 | 是 方程 组 (21) 的 最 大 解 . 口 
推论 方程 组 (11) 有 了 唯一 有 界 解 的 充 要 条 件 是 对 一 切 i€E 工 ,wv;=0. 特别, 对 有 限 马尔 可 夫 
链 ,方程 组 (11) 有 唯一 有 界 解 . 
讨论 方程 组 (11) 是 否 有 唯一 有 界 解 是 一 个 代数 问题 ,而 验证 iu ,ieET} 是否 全 为 零 , 对 于 状 
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态 个 数 无 限 的 马尔 可 夫 链 ,一 般 却 是 一 个 困难 的 概率 问题 .恰恰 为 了 知道 1 ,ieE 工 | 是否 全 为 
零 , 我 们 反而 去 判断 方程 组 (11) 是 否 有 唯一 有 界 解 ,或 方程 组 (21) 是 否 只 有 零 解 .按照 这 样 的 思 
路 ,我 们 可 得 到 一 个 极为 有 用 的 常 返 判别 法 . 

”定理 4.4 不 可 约 链 为 常 返 的 充 要 条 件 是 存在 一 个 (或 全 部 的 )j EE 下 使 线性 方程 组 


2 二 了 1 天 7) | (23) 
ky 


的 有 界 解 全 为 零 . 

证 我 们 考虑 一 个 新 的 马尔 可 夫 链 ,在 新 的 链 中 状态 j 改 成 吸收 状态 ,而 其 它 的 转移 概率 
Pia,i 隆 j,kE 上 上 都 保持 不 变 .从 状态 i( 冯 j) 出 发 ,直至 首次 到 达 j ,新 的 链 与 原来 的 链 并 无 不 同 . 
因此 所 ,i 关 ; 保持 不 变 .只 是 在 新 的 链 中 , 它 变 成 从 i 出 发 被 ) 吸收 的 概率 .不 难看 出 , 若 1 天) ， 
在 新 的 链 中 ,i 一 j ,ji, 故 T= 1i:i 关 j| ,v=1- ff,iE€ 工 .由 定理 4.3 的 推论 ,方程 组 (23) 的 
有 界 解 全 为 零 等 价 于 f; 1,i 关 j .由 定理 4.1 的 推论 ,这 即 等 价 于 链 为 常 返 的 . 从 上 述 证 明 可 看 
出 ,对 常 返 不 可 约 链 任 取 jEE ,方程 组 (23) 的 有 界 解 全 为 零 . 加 

定理 4.4 的 证 明 提供 了 一 个 求 方 的 十 分 有 用 的 技巧 ,这 就 是 为 了 求 广 不 妨 可 以 认为 ) 是 吸 
收 状态 ,更 进一步 ,如 果 在 两 个 马尔 可 夫 链 中 ,从 状态 ; 出 发 直至 首次 到 达 状 态 7 的 情况 完全 相 
同 , 只 是 在 到 达 j 之 后 情况 才 有 所 不 同 ,那么 对 这 两 个 马尔 可 夫 链 , f; 是 相同 的 .这 虽然 是 一 个 显 
而 易 见 的 道理 ,但 在 许多 场合 , 却 能 给 我 们 带 来 很 大 的 方便 .特别 ,借助 于 这 个 方法 ,我 们 可 以 利 
用 已 知 的 一 些 马 尔 可 夫 链 中 关于 方 的 结果 来 推算 另 一 些 马尔 可 夫 链 的 广 . 

将 方程 组 (23) 略 作 变形 ,可 得 下 述 形式 的 常 返 判别 法 ,在 有 些 场合 , 它 使 用 起 来 更 方便 些 ， 

定理 4.5 不 可 约 链 为 常 返 的 充 要 条 件 是 存在 一 个 (或 全 部 的 ))E 互 ,使 线性 方程 组 


2 一 了 Puzk， 1 天 7) (24 ) 
[3 


的 有 界 解 必 为 常数 . 
证 设 方程 组 (24) 有 非常 数 的 有 界 解 [u,,iEE|. 令 


wi Ui U;, i 关 j,， 
则 i ww ,i 关 jj 为 非 零 有 界 数列 , 且 i 关 j 时 
2 pw = 2 Pius — (1 pi)u, = 了 Uj ui Uj Wi, 
kj 4 天 7 k 


即 iw ,i 关 j| 为 方程 组 (23) 的 非 零 有 界 解 . 
反之 , 设 方程 组 (23) 有 非 零 有 界 解 | 4, ,i 关 j|. 令 


则 iw;,i€EEI1 为 非常 数 有 界 数列 , 且 ;i 关 ; 时 
2 paw a 2 Piru = ui ™ wi, 


即 iw; ,iE | 为 方程 组 (24) 的 非常 数 有 界 解 . 口 
.9 ， 


定义 ”线性 不 等 式 组 
Zz; 之 > PikZE 9 i€ E (25) 


的 非 负 解 称 为 马尔 可 夫 链 的 过 分 函数 . 
引 理 4.6 不 可 约 链 的 过 分 函数 或 恒 为 零 , 或 恒 为 正 . 
证 设 |h;,iEEE| 为 过 分 函数 , 且 不 全 为 零 , 则 有 j 使 h; >0. 用 归纳 法 及 科 尔 莫 戈 罗 夫 -- 杏 
普 曼 方程 易 证 ,过 分 函数 满足 不 等 式 组 


hi ph, n>1l, i€EE. 
对 任 一 iEE,i->j, 故 有 n 之 1, 使 py?>0. 因 此 
h; 宇 py ih;>0. 口 


定理 4.6 不 可 约 链 为 常 返 的 充 要 条 件 是 过 分 函数 必 为 常数 . 
证 先 证 必要 性 . 设 1h;,i€ i} 为 过 分 函数 ,全 为 零 的 情形 显然 不 必 讨 论 .现在 取 定 j, 令 


h. 
二 一 jy | 
u; sl 


Uj; 之 > De 之 Pirue + pi = 之 Pirur + 站 全 (26) 
在 (26) 中 作 连 代 : 


之 他 各 ( bu + ppg | + pi; 


Be pipuui + pups + ps; 


kj 天 


2 1 
SS Sp oa ei 


开关] 天) 


继续 作 迭 代 ,由 归纳 法 可 知 对 一 切 nn 之 1， 


2 (1 
f+ + 


和 


从 而 uj 之 f=1,h; 之 .但 i,j 是 任意 取 的 ,因此 必 有 hh;=h,i,jEE, 即 {hh;,iE€E| 为 常数 . 
再 证 充分 性 . 任 取 jEE, 定 义 


则 i 关 j 时 
外 三 : 方 三 2 Puls + pi = 2 pos， 
h; 1 之 方 = Ditf ys 直 Pj — > Pixhi : 


因此 | ，iE 下 | 为 过 分 函数 ,必须 为 常数 , 即 i 关 j 时 ,f=1. 由 定理 4.1 的 推论 即 知 链 是 常 返 
的 口 

例 4.5 有 一 个 反射 壁 的 随机 游 动 ”随机 游 动 的 状态 空间 为 全 ,转移 概率 矩阵 为 

60 . 


ro po 0 0 0 
dr pz 0 0 
P=|0 rm pp 0 …|， 
0 0 4 rs p; 


其 中 p; >0,i 宇 0; g; >0,i 之 1;ro+ po=1,9;+r;+p;=1,i 之 1. 容易 看 出 ,对 任 一 ; 疡 0,i 
i+1, 因 此 链 是 不 可 约 的 .在 ro>0 时 ,我 们 可 以 设想 从 状态 “0” 出 发 ,质点 仍 可 能 向 左 移 动 , 但 在 
“一 1/2" 点 处 有 一 座 反 射 壁 , 质 点 碰 上 去 被 反射 回 原状 态 “0”. 为 了 考察 链 是 否 为 常 返 ,讨论 定理 
4.5 中 的 方程 组 (24) 


Zi = qizi-1+ riz;it+ pizit1, i 之 1. (27) 
注意 到 1 一 x; = p; + g;, 因 此 (27) 可 写成 
Pi(zit1— zi)= gq;(z;— zi;_1), 


ee 二 )=…= 243-! 91( 
hp EN PiPi-1°* pi 


之 ] 一 z0). 
由 此 即 得 


Zi+1 = 1 二 + (De | i 之 1. 
k=1 £1 


zo 及 zl 的 选取 是 任意 的 .为 了 使 1z; ,i 之 0| 为 非常 数 有 界 数 列 , 必 须 且 只 需 


gq1'" dk 
SE 性 co 
00 ee pe 


由 此 可 见 , 链 为 常 返 的 充 要 条 件 是 


在 p;= p,q;=9,i 之 1 时 ， 
1) 若 p 三 gq , 链 为 常 返 的 ; 
2) 若 p> gq, 链 为 非常 返 的 . 口 
设 广 =1, 则 {YY?,n 之 1i 是 从 状态 i 出 发 首次 到 达 状 态 j 的 时 间 x; 的 概率 分 布 ,所 以 


oo 


mi 一 nf (28) 


是 从 i 首次 到 达 j 的 平均 时 间 : Er;]. 车 方 <1, 这 时 按 (28) 式 定义 的 m, 就 没有 这 个 概率 意义 
了 .下 面 我 们 来 讨论 如 何 求 得 m; ,而 不 问 方 是 等 于 1 ,还 是 小 于 1. 
引 理 4.7 设 给 出 线性 方程 组 


zi= Danzitb;, i€EE, (29) 
天 


。 6 。 


其 中 aix 守 0,6; 宇 0,i,kEE. 令 
b; = Sp3 bl"), 0 之 0， n 之 1， i1€E, 
n=1 
a =6D ,元 (+ 1) = Panil™ + 6b, n>1. /人 天 
大 


2 


n=1 


则 |z; ,iEE| 为 方程 组 (29) 的 最 小 非 负 解 . 
证 i€E 时 ， 


-> a = 0D + > (+) = 56D + 3 ( Paani + of"*D ) 
大 
加 = Din > 2 让 > 六 = janze + b;. 
n=1 到 


所 以 1z;,iE€Ei 是 方程 组 (29) 的 非 负 解 . 


设 |z; ,iE 下 | 为 方程 组 (29) 的 最 小 非 负 解 .我 们 采用 引 理 4.1 中 的 记号 .只 要 用 归纳 法 证 
明 对 一 切 2 之 1， 


> 到 (< Se ui”, i€EE, (30) 
vl v=1 


即 知 z; 二 zx? ,从 而 z= xz? ,i€EE.n=1 时 (30) 是 显然 的 ;z=6b(Db;=wu. 设 (30) 对 成 
立 , 则 


+ 


， 元 (2) = 到 (0 + > (DD = p+ > py ) 十 > 已 人 2) 
v=1 
n+1 
= v) 十 Don Dy a b+ Dan “= Zu 口 


定理 4.7 对 任意 的 jEE,|m, ,PEEI 是 线性 方程 组 | 


Zi 一 2) pize + f;, i€EE (31) 
A) 
的 最 小 非 负 解 . 
证 我 们 已 经 知道 ,n 宇 1 时 太史 二 px ,因此 
大 隐 ] 
(n+1)fY*!= DC 
人 尖 ) 


而 f= 户 ; 2 nf 各 =m, 由 引 理 4.7 即 知 | mj,iEE; 为 方程 组 (31) 的 最 小 非 负 
解 ， 口 

例 4.2 有 一 个 吸收 壁 的 随机 游 动 ( 续 ) ”我们 已 经 知道 ,p<g 时 ,fo。=1,j 之 1. 现 在 求 平均 
吸收 时 间 mjo,j 之 1. 由 定理 4.7, | mo,j 之 1| 是 下 列 方程 组 的 最 小 非 负 解 : 


z1= pz2+1, 

(32) 
z= pz;+1t+ qz;-1+1, j 之 2. 

。 62 ， 


将 (32) 改 写成 


由 此 可 得 ,j 之 2 时 


) (571-5-2)- a 


s+1-5= (2 9 
-Ee 
a 

a > 

(I pa] (33) 


先 考虑 p<<g 的 情形 .这 时 


We 


p 


我 们 只 讨论 非 负 解 : = 之 0,j 之 1. 在 上 式 两 端 除 以 了 >) _。(g/p)", 并 让 jco , 即 得 
i 
4 一 户 
而 j 之 1 时 


0 


1 

q-p gqg-plo\p 4 一 户 
另 一 方面 ,不 难 直接 验证 |z = 全 二 ,j 之 1| 是 方程 组 (32) 的 解 ,因而 也 是 它 的 最 小 非 负 解 , 妈 
Ee 


， j 宇 1. 
q=p” 


mjo 
若 p= gq, 由 (33) 式 应 有 
m+10= (I+1)mio mj(j+1), j 之 2. 
若 m10 为 有 限 数 , 则 j 充分 大 之 后 ,mjo 将 为 负数 ,这 是 不 可 能 的 .因此 ,只 能 有 mio= co ,从 而 对 
一 切 j 之 l,mjo= 吕 . 口 
利用 定理 4.7 中 的 方程 组 (31), 只 能 求 为 某 一 吸收 状态 吸收 所 需 平 均 时 间 . 如 果 存 在 两 个 或 


更 多 的 吸收 状态 ,自然 希望 知道 被 无 论 哪 一 个 吸收 状态 吸收 所 需 平均 时 间 . 在 赌 徒 输 光 问题 中 ， 
赌博 持续 的 平均 时 间 就 是 这 样 的 一 个 例子 .下 述 定理 能 用 来 解决 这 一 类 问题 . 


63 。 


定理 4.8 设 NN=infin 之 1:X, 入 TT} 为 首次 进入 常 返 状态 的 时 刻 , 且 对 一 切 i ET,P,(N< 
oo)=1, 即 从 非常 返 状 态 出 发 迟早 要 进入 常 返 状态 , 令 h,= E,[N], 则 1h;,i€E TT 是 线性 方程 组 


“= 2 prtt1, i€ET (34) 
的 最 小 非 负 解 . 
证 记 
hi =p(N=n)=P;(X, & T,X,ET,0<v<n). 
由 假设 ,iE 工 时， 


> =Pp(N<%)=1, 
n=1 


oo 


有 日 ;= >, nh(") .n>1 时 


mn 二 1} 


hr = PPX ET, XET,I<u<nt+1, X=k) 


k€ET 


= Dpap(Xs rE T,XET Luv<ntl| Xi =)= Dpahl", 
kET 


ET 


(n +1)h(*+1) = Dpa (nh ) 十 大 人 + ， 


kET 


由 引 理 4.7 即 得 定理 的 结论 .” 口 
例 4.3 有 两 个 吸收 壁 的 随机 游 动 ( 续 ) 我 们 用 定理 4.8 中 的 记号 .这 时 h;,1 志 i 人 a 一 1 
为 从 状态 ;出 发 被 任 一 个 吸收 壁 吸 收 平均 所 需 时 间 . 在 赌 徒 输 光 问题 中 , 即 为 赌 徒 甲 的 初始 赌 本 
是 i 元 时 赌博 持续 的 平均 时 间 . 由 方程 组 (34) 得 
hi= ph2+1, 
hi= ghi-1+ phiri+l1, 2<i<a -2, 
ha-1= gha-2+1. 
令 ho= 六 =0, 上 述 方程 组 有 统一 的 形式 :1 委 ; 委 aa -1 时 
hi= phi+1+ qh;-1+1, 
plhi+1— hi)= aq(h;— hi-1)-—1. 


记 7r=g/p, 则 r 关 1, 即 p 取 gq 时 
ot RE WR EE 
: p 


=ri(hi—ho)— (r+ a 


"”"—1 
p 





ll 
2 
AAA 
™ 
| 
~ 
一 | 
\ 
十 





hir1— hi= 2 hho) + so( gh 
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在 r=1, 即 p=g=1/2 时 ,可 作 类 似 的 计算 :对 0 委 ; 委 < 一 1， 


h;+1— h;=(h;— hi-1) -2=.…= (hi -ho)—2i, 
hi+i=(i+1)hi—i(it+1). 


0=h, =ahl—-a(a—1), hi!=a—1, 
因此 ,1<;i 委 ac -1 时 


hi=ihi-i(i-1)=i(a-1)-i(i-1)=i(a-1). 口 


习 题 
4 一 1. 设 转移 概率 算 阵 为 : 
1/2 1/4 1/4 1 0 0 
(DD) 10 12 121 (2) |1/2 14 144|; 
0 1 0 | 0 0 1 
1 0 0 0 1 0 0 0 
23 0 13 0 2/5 2/5 1/5 0 
(3) ; (4) ; 
0 23 0 173 0 1/5 2/5 2/5 
0 0 0 1 0 0 0 1 
1 0 0 0 0 12 1/2 0 
1/4 1/4 1/4 1/4 112 0 0 12 
Sg mo a (oo 1 ah 
0 0 1 0. 0 0 12 172 
求 矩 阵 ( 万 ). 


4 一 2. 设 转移 概率 为 


po=1,pi0=(1-6)g,piu=6g,p12=p, 
pii—™q, pi,it+1i™p， 1 之 2， 


0<p,5<1, pt+q=1., 
求 吸收 概率 fi0 ,i 之 1. 
4 一 3. 设 转移 概率 为 


0=1,pi0= (1-6)gq,pn= 6g,pu=p, 
Pi,i-1™ qd», Pi,it+i™ pp， 1 之 2， 
0O<p,S<1, p+q=1. 


求 吸收 概率 fo0yi 之 1. 
4 一 4. 设 状 态 空间 为 斑 = 10,1,…,al ,转移 概 率 满 足 条 件 : 


a 


> i=0,",a; pi<1, i=1,…,a—1. 
小 
证 明 :0 及 a 为 吸收 状态 , 且 
二 _ 工 a ?= oon 
fio=1 a fia 7， 1 1,……,a 一 1. 
4-5. 设 状态 空间 为 下 = 10,1,…,a|. 考 处 下 列 两 个 转移 概率 矩阵: 
a\/iy i 
(1) = 人 二 人 ， 0 入 ij 委 ua; 
(2) poo0 = Pua = 1, pa=1-22230 站 0<i<u, 
i(a-i) 
i a? 9 
pi;=0, |j -i| 衬 2. 


在 这 两 个 转移 概率 答 阵 之 下 ,0 与 a 都 是 吸收 状态 .证 明 : 在 这 两 个 转移 概率 矩阵 之 下 ,吸收 概率 
Fo 六 ,0<i<a 是 相同 的 . 
4-6. 在 马尔 可 夫 链 中 定义 


Pi,(z)= > pz", Fi(z)= > Iz|<1. 
` 证 明 ; 对 一 切 i ,jEE 

Pi(z)=6;+F,(z)P;(z), |z|<1. 
由 此 可 得 


1 


1 |z|<1. 


P;(z)= 


令 xz 一 1, 由 于 Fi(1)= ffi, 我们 又 得 到 常 返 判别 法 :fi; 二 1 等 价 于 之) pb 名 ) = oo 的 一 个 证 明 . 


4 一 7. 在 (p,q) 随 机 游 动 中 ,证 明 : 
60 ， 


2pq,， n=1, 

WW" = 13. 2n-3( 

2...27 4pg) nn 这 2， 
2 2 2 2(n!) 


4—8. 在 (p,g) 随 机 游 动 中 , 记 &=sup,>oX, .证明 ， 
(1) p 之 gq 时 ,P(é=%|Xo=0)=1; 
(2) p<q 时 ， 


Pp(é=n|Xo=0)= (0 ny 


4 一 9. 证 明 ; 在 (p,q) 随 机 游 动 中 ,对 一 切 IE 二 ， 
fi=1-|p- gl. 
4 一 10. 设 马 尔 可 夫 链 没有 吸收 状态 .定义 
mo 二 0， 
mi infiz > 7n -1)Xz2 天 X， |, 7 之 1 
(而 于 没有 吸收 状态 ,在 任 一 状态 上 停留 的 时 间 是 有 限 的 ,因此 mm， 是 有 限 数 .) 令 
=X，， 7 0. 


证 明 :(1) YY={|Y ,2 0 为 马尔 可 夫 链 ,其 转移 概率 答 阵 为 


(2) Y 为 常 返 不 可 约 的 充 要 条 件 是 X= |X,，,7Z01 为 常 返 不 可 约 的 ; 
(3) 对 任意 的 n 宇 0 


Plm,41— ma =k|Y,=i)=(1- 2) 罗 之 1， 
且 对 任意 的 ?之 1 


~ 


pO) lm mm- 1 二 上 sl y= = 1 pig ) pi 1. 


这 表明 ,在 已 知 Y 的 条 件 下 ,fm 一 m,_1,n 之 1| 是 独立 随机 变量 序列 , 且 每 一 个 变量 服从 几何 
分 布 .事实 上 ,原来 的 马尔 可 夫 链 和 可 以 反 过 来 用 了 及 | m,n 之 1| 构 造 出 来 : 


x Y0， n<mi, 
‘ Yi mn 人 < mrl, k 宇 1. 


4 一 11. 设 b; 之 0,i€ 丁 .证 明 ，; 
(1) 线性 方程 组 


yy 


的 最 小 非 负 解 为 


(2) 线性 方程 组 
Zi 一 zz + bi, i€ET 


的 最 小 非 负 解 为 
zi = bi(2 ph), iET. 


4--12. 设 ni= 2 pYY,N= (ng)ivjer;Q=(ps)iverT. 证 明 : 
(1) Q"= (py )ijers 
(2) N 是 矩阵 方程 


Z=0QZ+I 


Z=ZQ+I 
的 最 小 非 负 解 ,特别 , 当 链 为 有 限时 ,N=(T-Q@) 上 . 
4 一 13. 设 链 的 常 返 状 态 全 都 为 吸收 状态 .证 明 :iET,j 所 工时 
(DB 


(2) my = 2 er 人 方志 天 
4 一 14. 设 马 尔 可 夫 链 为 非常 返 不 可 约 的 .国定 JE 巨 , 令 


h;= > py ’, i€EE. 
， n=0 

证 明 : |h;,iEE| 为 非常 数 的 过 分 函数 ， 

4 一 15. 设 在 分 支 过 程 中 每 一 个 体 至 多 产生 两 个 后 代 . 证 明 : 以 概率 1 灭 种 的 充 要 条 件 是 
S80 之 82， 

4 一 16. 设 某 种 生物 的 每 一 个 有 生殖 力 的 个 体 产生 三 个 后 代 , 每 个 后 代 有 无 生殖 力 是 等 可 能 
的 ,无 生殖 力 的 个 体 随即 死亡 , 求 灭 种 概率 . 

4 一 17. 设 马尔 可 夫 链 有 三 个 状态 , 且 


(m;)= 





人 
> 全 





2 
1 
1 


求 转移 概率 矩阵 . 
4 一 18. 设 马 尔 可 夫 链 有 三 个 状态 , 且 
68 ， 


- 求 常数 a . 
4 一 19. 车 一 篇 文稿 有 n 个 错误 .每 校 阅 一 次 至 少 能 发 现 一 个 错误 ,但 遗留 下 来 的 错误 个 数 
在 0 到 nn 一 1 之 间 是 等 可 能 的 . 设 原稿 共有 a 个 错误 . 求 为 了 改正 全 部 错误 ,平均 需要 校 阅 几 次 ? 
4 一 20. 设 有 a 个 选手 依次 两 两 进行 比赛 ,获胜 者 接连 比赛 下 去 (擂台 赛 ). 比 赛 进行 到 有 一 
名 选手 连续 地 击败 其 余 a 一 1 名 选手 为 止 .假设 每 场 比 赛 中 ,两 名 选手 获胜 的 概率 各 为 1/2. 求 平 
均 需 比赛 多 少 次 ? 


§2.5 平稳 分 布 
定义 不 恒 为 零 的 非 负 数列 |u; ,i€E | 称 为 马尔 可 夫 链 的 不 变 测 度 , 若 对 一 切 i EE， 
u; = 2 urpri. (1) 
若 不 变 测度 jw ,iE 1 是 一 个 概率 分 布 列 , 即 之 u; =1, 则 称 它 为 马尔 可 夫 链 的 平稳 分 布 
若 ju ,ziE 巨 | 为 不 变 测度 , 则 对 一 切 n 之 1， 
ii 一 >) ut 好)， iEE. (2) 


类 


(2) 式 可 用 归纳 法 证 明 .n=1 时 (2) 式 即 (1) 式 .车 (2) 式 对 n 成 立 , 则 它 对 n+1 也 成 立 : 
Ui 2 up = 2 之 upip le’ = 2 2 ppl = = 有 和 


车 iu;,iE | 为 不 变 测度 , 且 x = ee 见 ,规范 化 后 得 到 的 | /4,1E | 是 
稳 分 布 . 
如 果 1u;,iE | 是 一 个 平稳 分 布 ,把 它 取 为 初始 分 布 : 


P(Xo=i)=u, i€E, 
则 由 (2) 式 ,对 一 切 n 宇 1 
P(X,=i)= 2 P(Xo=h) ph "= 之 zip 各 二， i€E. 
更 进一步 ,对 任意 的 ti < to<…<ts 及 mm 之 1,(X,，…,X, ) 的 分 布 与 (X，,，。,…,X， w) 的 分 布 
完全 相同 : 
PO = HX pi pf 
oe J 


即 有 限 维 分 布 经 过 时 间 的 推移 保持 不 变 :|X, ,zz 之 0} 是 平稳 过 程 .平稳 分 布 的 名 称 即 由 此 而 来 . 
例 5.1 对 (p,g) 随 机 游 动 , 易 见 fu; 夺 1,i€EZ| 是 不 变 测度 . 若 Pq;, 则 |u;=(p/g)'， 

iEZ 也 是 不 变 测度 : 
.69 . 


Bum (2) 0 (8) (Ee) arn- (2) = 9 
对 任意 的 i,jEE, 令 
eb” =P,(X, =j,X,z¥i,0<v<n) (3) 
为 从 状态 i 出 发 经 过 nn 步 到 达 状 态 j 但 中 途 不 经 过 i 的 概率 . 易 见 el= pj,eW = fn 之 1. 
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令 


eEi 一 2 。 (4) 
我 们 有 e; = fi, 且 izj 时 e;=0. 但 i 一 j 时 一 般 并 不 知道 es < %. 
定理 $5.1 设 j 为 常 返 状态 , 则 {= ej,iEEi 为 不 变 测度 . 
证 由 定义 (3)， 


et) = pi;, 
er*D=p (X=i, Xj,0<u<n+1) 
SPUX Te ND 


上 关 ] 


= DOP,(X,=k, XAj,0<vu<n)Pp(X, +1=i| XN, =k) 


下 天 了 


=: i ， nn 之 1. 


天 1) 


由 引 理 4.1, {ui = ej ,i€ 玉 | 是 线性 方程 组 


i > zapri + pii, iEE (5) 
的 最 小 非 负 解 .注意 到 u; = ej; =1, 有 


Ui 二 > uprit pi = Pupr, DE 
> 天 


[Ei 
显然 ,| ,ieEEI 是 不 恒 为 零 的 , 非 负 的 , 故 {u ,ieE 忆 1 满足 (1), 从 而 满足 (2). 还 需 说 明 所 有 的 
由 =ei<oo. 若 ji 我 们 早已 知道 由 = 人 =0. 若 ji 因 ) 是 常 返 状 态 ,也 有 1 一 ) 所 以 有 
n 之 1 使 pr?>0. 因 此 
1=w= Duph upy, wl/pY <%. OD 


k 


定理 5.2 设 链 为 常 返 不 可 约 的 , 则 对 一 切 i ,jE 





lim 3 = ej<oo . (6) 


证 i=j 时 ,e; =1,(6) 是 显然 的 .所 以 只 需 讨 论 ; 尖 ) 的 情形 .由 定理 5.1 已 知 cy< oo. 我 
们 有 
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n-l 
pl =P(X,=j)= 2 P(X,=j,X, =i, Xzi,v<l<n) 
v=0 
n-1 
= Sp(X,= P(X, =j, Xzi,v<I<n|X,=i) 
v=0 


n-1 
= bp Be u) . (7) 
v=0 : 


注意 ,这 里 我 们 是 按 在 时 刻 n 之 前 最 后 一 次 进入 状态 i 的 时 刻 作 事件 的 分 解 的 , 它 恰 与 首次 进入 
法 相对 .由 (7) 式 推 得 (6) 式 的 过 程 ,与 比 极限 定理 3.5 中 的 证 明 过 程 完全 一 样 (这 并 不 奇怪 ,因为 
我 们 现在 证 明 的 也 是 一 种 比 极限 定理 ). 先 求 和 ， 


> p= > 3 pe 5) 一 > pl 5 el), 
再 用 引 理 3.1, 即 得 (6) 式 .， 口 
引 理 5.1 设 链 有 不 变 测 度 |u;,iEE|. 车 u;>0,ij, 则 wj>0. 特 别 , 若 链 又 是 不 可 约 的 ， 
则 一 切 u;>0. 
证 这 时 有 n 之 1 使 py ”>0, 从 而 
Uj 一 Puph up >0. 
不 变 测度 不 恒 为 零 ,至 少 有 一 个 如 >0. 若 链 又 是 不 可 约 的 , 则 对 一 切 状态 j,i 一 j ,从 而 4>0. 
口 
定理 5.3 设 链 为 常 返 不 可 约 的 , 则 不 计 一 个 常数 因子 ,不 变 测度 是 唯 一 的 . 
证 ” 取 定 一 个 状态 j. 由 定理 5.1,1e,iEEI 是 一 个 不 变 测度 .现在 设 iu;,iE€ | 为 不 变 测 
度 .由 引 理 5.1, 可 定义 
qin = pu i,kEE, 
则 
-1 
qi 之 0， 交合 upu 二 ui=1, 
上 下 1 
因此 (gx ) 可 看 作 一 个 马尔 可 夫 链 的 转移 概率 矩阵 , 它 的 n 步 转 移 概 率 


mm) UE, 。 
gq = pi, i,kEE. 


这 可 用 归纳 法 容易 得 到 .由 此 可 见 ,这 个 链 也 是 不 可 约 的 , 且 是 常 返 的 ,因为 > .4% ?= 之 有 1 
= oo .由 定理 3.5 及 定理 5.2, 在 下 式 中 取 极 限 : 
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我 们 得 到 


ls uj; = Wjej; iE€FE. (8) 
即 jwi,iEEI 与 ej,i€EEI 内 一 个 常数 . 口 


推论 i 
Ciejk ~ ik* (9) 
证 jei,kEEI 也 为 不 变 测 度 .由 (8) 式 即 得 (9) 式 ， 口 
引 理 5.2 设 iu;,iEEl 为 一 平稳 分 布 ,u; >0, 则 j 是 常 返 状 态 
证 反 证 之 . 设 j 为 非常 返 状态 , 则 对 一 切 i,lim,. p=0. 由 于 了) ui=1， 


Wj 之 xi 多) 
右边 的 级 数 关于 ?一致 收敛, 因此 令 ”~co 即 得 wj=0, 与 假设 矛盾 . 故 ) 为 常 返 状态 。 口 ] 


引 理 5.3 
co， 车) 为 非常 返 状态 . 


证 对 任意 的 n 之 1 及 i,jEE 
2P, (X, =i,X,#j,0<u<n) 
-P (Xi 0<v<z)=Pi( 之 >n ) 


oo 


到 v) 
= > fy ， 


Do 3 lap+ SD] 


因此 , 若 j 为 非常 返 状 态 , 方 <1, 则 > ej; = oo; 若 j 为 常 返 状态 ,f=1, 则 


>. ji = SD =, 国 


定义 ” 设 i 为 常 返 状态 ,车 mi;<oco , 称 ; 为 正常 返 状态 ; 若 m,; = oo, 称 i 为 零 常 返 状态 . 非 
周期 正常 返 状 态 称 为 遍历 状态 . 

正常 返 及 零 常 返 状态 的 概率 意义 是 明显 的 :虽然 i 是 常 返 状态 ,从 i 出 发 必定 要 返回 i ,但 平 
均 返 回 时 间 可 能 是 有 限 的 或 无 限 的 ,也 就 是 说 返回 的 速度 有 快 有 慢 . 将 常 返 状 态 分 为 正 的 及 零 
的 , 正 是 在 这 点 上 作出 区 别 .今后 记 


772 (11) 
0， 其 它 情形 . 


定理 5.4 设 链 为 不 可 约 的 .车 链 有 平稳 分 布 , 则 全 部 状态 是 正常 返 的 .反之 ,车 有 一 个 状态 
*。 72 。 


本 车 ; 为 正常 返 状态 ， 
7 一 


是 正常 返 的 , 则 链 有 唯一 的 平稳 分 布 : | x;,iEE| , 且 对 一 切 i,j€EE,e= n/n;. 

证 设 不 可 约 链 有 平稳 分 布 iu;,iEEl, 则 由 引 理 5.1 及 5.2 可 知 , 链 是 常 返 的 , 且 由 定理 
5.3, 平 稳 分 布 是 唯一 的 . 任 取 状 态 j, 则 iej,iE€El 是 不 变 测度 .由 不 交 测 度 的 唯一 性 及 引 理 
D3, 


mj= 2 en<™. 
因此 ; 是 正常 返 的 , 且 
w= ,i€E. Gp 
J 
特别 ， 


(13) 对 一 切 状态 j 成 立 .再 由 (12) 式 ,对 一 切 i EE， 


四 


ji 


j* 


反之 ,车 有 一 个 状态 j 是 正常 返 的 , 则 如 上 所 知 ,iej /mj ,i€E | 是 平稳 分 布 。 口 

由 定理 5.4 可 知 ,同一 个 常 返 类 中 的 状态 或 全 为 正常 返 的 ,或 全 为 零 常 返 的 .相应 地 ,我 们 就 
称 这 个 类 为 正常 返 类 或 零 常 返 类 .因此 ,定理 5.4 表明 ,一 个 不 可 约 链 有 平稳 分 布 的 充 要 条 件 是 
链 为 正常 返 的 .实际 上 ,这 提供 了 判别 一 个 不 可 约 链 为 正常 返 的 最 有 用 的 准则 :考察 线性 方程 组 


z= 2) zipn, iEFE (14) 

是 否 有 收敛 的 非 零 非 负 解 .如 果 没 有 的 话 , 链 是 非常 返 的 ;如 果 有 的 话 , 链 是 正常 返 的 ,再 求 出 这 
个 解 ,就 可 得 到 平稳 分 布 . 需 注意 的 是 ,(14) 的 解 允 许 一 个 任意 的 常数 因子 .但 平稳 分 布 是 概率 分 
布 列 , 它 必须 满足 总 和 等 于 1 这 个 规范 化 条 件 . 

推论 不 可 约 有 限 马尔 可 夫 链 必 是 正常 返 的 ,有 了 唯一 的 平稳 分 布 . 

证 不 可 约 有 限 链 必 是 常 返 的 . 故 对 任 一 状态 j,i|e;,iEE| 是 不 变 测度 .但 由 于 状态 空间 有 
限 ,m; = 之 ej<%. 因 此 , 链 是 正常 返 的 ， 口 ] 

例 5.2 设 转移 概率 矩阵 为 
0 1/2 172 
0 1/4 3/4 
1 0 0 
易 见 ,这 是 一 个 不 可 约 有 限 链 . 它 的 平稳 分 布 ro,ri,rz} 满 足 方程 组 


P= 
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这 里 实际 上 只 有 两 个 独立 的 方程 , 解 得 : 
-2 
T1370 2 一 下 0， 


再 利用 规范 化 条 件 not+ xi 十 XA; 二 得 


(1+ 委 +1)ro=1， 
3 1 3 
ro 一 8， xi 二 玫 ， 2 二 8 口 


例 5.3 设 灯泡 的 寿命 以 天 计算 ,一 个 灯泡 使 用 到 第 天 坏 了 , 它 的 寿命 就 是 .一 个 灯泡 
坏 了 ,第 二 天 再 换 上 一 个 .以 1&,,n 之 11 记 相继 换 上 的 一 列 灯 泡 的 寿命 . 设 1&,,n 之 1| 为 独立 同 分 
布 随机 变量 ,其 共同 分 布 为 


P(é,=k)= a, k 之 1.， 
对 n 实 0 定义 
0， 7 se ， 
k, é1++ 人 n+ +r1， k 宇 1， 
y 
X=n- 6 (6=0)， 
j=0 


X, 是 第 n 天 正在 使 用 的 灯泡 已 经 使 用 的 天 数 ( 当 天 计算 在 内 ). 这 时 1X, ,nn 之 01 是 状态 空间 为 
11,2,…1 的 马尔 可 夫 链 ,其 转移 概率 矩 阵 为 


Qi 工 一 ai 0 0 
CQ2 C2 
1 一 ai 0 | l-ai 9 
P= 
a3 U3 
1 Cl C2? 0 l 1l—-al—-a> 


显然 这 是 一 个 不 可 约 链 , 也 不 难看 出 ,ff = ai,n 之 2 时 ， 





2 Qn-il dn 
oon 1 一 一 一 一 一 一 一 一 一 ) 一 一 一 一 一 一 一 一 人 
Se ( a 1 a 


FS 


因此 ,fi11= >) ,fi?? = >) ,a, =1. 链 是 常 返 的 . 链 是 正常 返 的 充 要 条 件 为 >, ， kat < 


例 5.4 有 一 个 反射 壁 的 随机 游 动 ”我们 继续 例 4.5 的 讨论 . 记 
QIL Gd ~ 
pe Pipe” | 
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前 面 我 们 已 经 证 明了 , 链 为 常 返 的 充 要 条 件 是 >，, pk = co .继续 讨论 正常 返 的 条 件 . 为 此 讨论 线 


性 方程 组 


1- rozo + qizi1, 


(zn = Pr-1Zn-!1t rznt qn+1Xn+1, n 之 1. 
注意 到 1 - x, = p, + g, ,方程 组 可 化 成 
0 Sa 





dn+1lZn+1™ PrZn = dnrZn Pn- 1Zn-1, n 之 1. 
由 此 可 知 
Qn+1XZn+1™ pnzn =0, 1 之 0， 
za 
qn+l n+l dl Pn+1Pn+!1 

因此 ,方程 组 (15) 有 收敛 解 , 即 链 为 正常 返 的 充 要 条 件 为 
: (这 条 件 蕴含 了 之 /ov = co ) , 且 这 时 平稳 分 布 为 

ro= (1 po Dp i A 


在 p;= p,qg;=g,i 之 1 的 特殊 情形 ， 





因此 链 为 正常 返 的 充 要 条 件 P<q, 且 这 时 平稳 分 布 为 
WO gptpo” ™ pl(gq- p+ po) 
若 又 有 po = p, 则 平稳 分 布 是 几何 分 布 : 


es (I (2 WO 


q 


把 所 得 结果 总 结 起 来 : 
(1) 链 为 非常 返 后 > ，pn< ooi 


(2) 链 为 零 常 返 呈 ”p=%, 5 -=%，; 








(3) 链 为 正常 返 S ”F< 


当 p= pi;,g; 二 9g,i 之 1 时 ， 


gp Se 


(15) 


75 ， 


(1) 链 为 非常 返 会 p>4g; 

(2) 链 为 零 常 返 会 p=9; 

(3) 链 为 正常 返 会 p<g， 口 

定理 5.5 设 链 为 常 返 不 可 约 的 , 则 线性 不 等 式 组 


zj 2 zipyi, i€EE 
大 
的 不 恒 为 零 的 非 负 解 fu ,iE | 必 是 不 变 测度 . 
证 任 取 状 态 j, 定 义 


e; 
qi = py , i,kEE, 
ji 


则 以 (gx ) 为 转移 概率 矩阵 的 马尔 可 夫 链 也 是 常 返 不 可 约 的 , 且 1 /ej ,iE EI 是 它 的 过 分 函数 


e 


Don = wpa, i€E. 
由 定理 4.6, 常 返 不 可 约 链 的 过 分 函数 必 为 常数 ,而 je ,i EE! 是 不 变 测度 ,所 以 | ,iE Ei 也 是 
不 变 测度 . 口 
定理 5.6 不 可 约 链 为 正常 返 的 充 要 条 件 是 线性 不 等 式 组 
zi > xpy, iEE (16) 
大 
的 非 零 非 负 解 均 为 收敛 解 . 


证 先 证 必要 性 .由 定理 5.5, 线 性 不 等 式 组 (16) 的 非 零 非 负 解 }w ,ieE 已 | 必 是 不 变 测度 日 
wi= cej,i€ 忆 ,其 中 为 常数 ,j 为 任 一 取 定 的 状态 .因此 ， 


这 2 6i= ccm,< %. 
再 证 充分 性 . 任 取 状态 j, 令 六 = ej; 则 1u;,iEEl 满 足 不 等 式 组 (16). 事 实 上 ,在 定理 5.1 
的 证 明 中 ,我 们 已 指出 ju,,iE EI 满足 方程 组 
Zi 一 > Zepri + pii, i€E, 


Ca 


而 uj=e;= fj<1, 


Ui = 2 upr + pi> ap， i€E, 
k 


kj 
这 时 w= Zer<oo, 由 引 理 5.3,) 为 正常 返 状态 ， 口 
在 定理 5.3 及 5.5 的 证 明 中 ,我 们 利用 了 一 个 很 有 用 的 技巧 :车 1u,iE 已 | 是 一 个 不 变 测 
度 , 则 gj = 一 pi,i,jE 也 是 一 个 马尔 可 夫 链 的 转移 概率 . 它 把 转移 概率 py 中 i 与 j 的 地 位 相 
互 交 换 , 即 把 出 发 状态 与 到 达 状 态 相互 交换 ,也 就 是 把 时 间 次 序 颠 倒 过 来 .事实 上 , 若 | ,ieE 下 | 
是 平稳 分 布 , 且 被 取 作 为 初始 分 布 ,那么 把 时 间 颠 倒 过 来 而 得 到 的 马尔 可 夫 链 | X,, X，，,…， 
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Xi ,Xoi 的 转移 概率 正 是 vi . 由 此 导出 下 面 的 概念 . 
定义 ”车 存在 不 恒 为 零 的 非 负 数列 | ,iE€ 玉 | 使 得 


wipi; = ujpii, i,j€E, (17) 
则 称 马 尔 可 夫 链 为 可 配 称 的 .这 时 iu,,iEEI 必 为 不 变 测度 : 


> uipy = 2 wpi= wj. 


车 满足 (17) 的 ui,iE El 是 一 概率 分 布 , 则 称 马尔 可 夫 链 为 可 逆 的 .这 时 |u,,iEE| 必 为 平稳 分 
布 . 若 以 此 平稳 分 布 为 初始 分 布 , 则 对 一 切 n , (Xo, Xi,…,X, ) 与 (X, ,XX，1,…,Xo) 同 分 布 .这 
正 是 可 逆 的 意义 .显然 ,可 逆 不 可 约 链 必 是 正常 返 的 . 

” 例 5.4 有 一 个 反射 壁 的 随机 游 动 ( 续 ) 这 时 (17) 化 为 


xz0z20 一 XiG1， Upi— Ui=1dit1s 1 之 1 . 
只 需 取 
uo=1,， 记过 将 汪 bo i 宕 1 
di “gi 


就 能 满足 它 .因此 链 是 可 配 称 的 . 当 链 是 正常 返 时 , 链 是 可 逆 的 . 口 
例 5.5 马尔 可 夫 链 称 为 对 称 的 , 若 
py=pi, i,jEE. 
这 时 链 是 可 配 称 的 .为 此 ,只 需 在 (16) 中 取 4 二 1. 显然 ,对 称 马尔 可 夫 链 是 可 道 的 当 且 仅 当 链 是 
有 限 状 态 的 . 口 
例 5.6 设 转移 概率 为 ( 例 1.3) 


min(i,;) 7 


py=e* >) C1- gg ti, A>0,0<gq<l. 
kg-0 -| (j—k)! 


由 于 对 一 切 ijE 巨 ,加 >0, 链 是 非 周期 不 可 约 的 . 令 w= 十 (全)e*“, 则 


i min(i,/) Ey 


1 A k ki 一 大 4 - (1l+A/g) 
| 


k=0 


关于 i,j 是 对 称 的 ,因此 wipi = wjpii. 所 以 , 链 是 可 逆 的 , 且 平 稳 分 布 是 参数 为 4 的 泊 松 分 布 . 
口 





5 一 1. 设 转移 概率 给 阵 为 


0 1 0 
1/4 1/4 1/4 1/4 
(1) |1/4 1/2 1/44|; (2) 
0 0 12 172 
【0 1 0 | 
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求 平稳 分 布 . 

5-2. 设 你 中 有 a 个 球 , 球 为 黑色 的 或 白色 的 .每 次 从 党 中 任 取 一 球 ,然后 放 回 一 个 不 同 闫 
色 的 球 . 以 X, 记 取 了 n 次 球 之 后 伐 中 和 白 球 的 个 数 , 则 |X,,n 之 0| 为 正常 返 不 可 约 马 尔 可 夫 链 ， 
求 其 平稳 分 布 .这 个 马尔 可 夫 链 称 为 埃 伦 弗 斯 特 (Ehrenfest) 扩 散 模 型 . 

5 一 3. a 个 黑 球 与 a 个 和 白 球 分 装 在 两 个 浓 子 中 ,每 个 党 中 各 a 个 .每 次 从 每 个 党 中 各 任 取 一 
球 ,互相 交换 后 放 回 裳 中 .以 X, 记 交换 1 次 之 后 第 一 个 伐 中 黑 球 的 个 数 , 则 1 了 X, ,7 这 0| 为 遍历 
不 可 约 马 尔 可 夫 链 , 求 其 平稳 分 布 . 

5 一 4. 设 转移 概率 为 


ji=di>0，1P0; pi,i-1=1， i 之 1, 


证 明 :(1) 链 是 常 返 不 可 约 的 , 且 不 变 测度 为 |c 》) as,i 之 0| ,其 中 上 是 正常 数 ;(2) 零 常 返 的 
充 要 条 件 是 了 = 了》 ) ， na, .1= ooi(3) 正常 返 的 充 要 条 件 是 = 之 /，i nan-1<%, 且 这 时 平 
稳 分 布 为 [z= 二 27”, ani>0|. : 
5-5$. 设 义 = |X,,n 之 0| 为 不 可 约 马 尔 可 夫 链 , 令 
Y= | XX il 10， 


则 Y=1Y, ,nz0| 是 以 Ey= |(i,j):py>01 为 状态 空间 的 不 可 约 马 尔 可 夫 链 .车 又 是 常 返 
(正常 返 或 零 常 返 ) 的 , 则 Y 相应 地 也 是 常 返 ( 正 常 返 或 零 常 返 ) 的 . 
5 一 6. 设 芒 尔 可 夫 链 的 转移 概率 为 
pi = A t+ (1 ~ Ai)u, i,j€EE, 
w>0, Du=1, 0<A<1l, i,j€EE. 
证 明 ;(1) A=|i:u;>0| 为 一 常 返 类 ; 
(2) 已 \ A 中 状态 全 为 非常 返 状 态 , 且 从 非常 返 状态 出 发 ,迟早 必定 要 进入 A; 


(3) A 为 正常 返 类 的 充 要 条 件 是 jp = >)，T 一 -<oco, 且 这 时 平稳 分 布 为 





A i€EE. 
S-7. 设 马 尔 可 夫 链 的 转移 概率 矩阵 为 
ro po 0 0 :+ 0 0 0 
dl ri ye 0 … 0 0 0 
人 gq2 0 rr pz2 0 0 | 


qn 0 0 0 ”mm 0 





pi>0,gi+1>0,pi+r;t+gq;i=1, i 之 0(go=0). 
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证 明 :(1) 之 )，， 和 < oo 时 , 链 为 非常 返 不 可 约 的 ; 


(2) 2 时 = 2)”， Q,= 吕 时 , 链 为 零 常 返 不 可 约 的 ,其 中 


n=1 pp, 
3 Popr-!1 
QI li 
(3) Q=1+ 2”， Q，< oo 时 , 链 为 正常 过 不 可 约 的 ,县 这 时 平稳 分 布 为 z= 全", 之 0; 


(4) 存在 不 变 测 度 的 充 要 条件 为 SS, (1 一 p,)= 00, 且 这 时 不 变 测度 为 ji=cQiyiEE, 其 中 
5 一 8. 设 1X,,n 之 0| 为 遍历 不 可 约 马 尔 可 夫 链 ,|&,,n 之 1| 为 一 列 i.i.d. 随 机 变量 ,其 共同 
分 布 为 
PpP(é,=k)= a,, k 之 1， 
且 |X,,n 之 01 与 1&,,n 之 1| 相 互 独 立 . 令 


170=0， 二 +++， nn 之 1， 
Y,= X, ， 7 之 0， 


则 |Y, ,nn 之 0} 为 正常 返 不 可 约 马 尔 可 夫 链 ,其 转移 概率 答 阵 为 


P= > axP*, 
k=1 
且 有 与 1X,,n 之 0| 相 同 的 平稳 分 布 . 
5 一 9, 设 [X,,n 之 0| 为 正常 返 不 可 约 马 尔 可 夫 链 .G 为 状态 空间 巨 的 一 个 非 空 真子 集 .定义 
To=infln 守 0:X, EG|, 
T,=inf{fn>T,_ 1:XEG 1， 
Y, = Xr,， 姑 之 0， 


则 | Y, ,7 之 0| 也 为 正常 返 不 可 约 马尔 可 夫 链 ,其 转移 概率 矩阵 为 


BE=Q+U(>,R*)vV， 


n--0 
其 中 
Q= (pi)i,jec, U= (pi)iec,es, 
V= (pi)iec,jec,s R= (p;)i,jes, 
G=EE\ G, 且 平稳 分 布 为 i/ 2) oT,iEG. 
5 一 10. 设 链 为 不 可 约 的 ,下 为 状态 空间 下 的 有 限 子 集 . 令 
r(F)=inf{n 守 1: X, EF}. 
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证 明 : 车 对 一 切 i€EF,E,[r( 下 )]<<%, 则 链 为 正常 返 的 . 
5 一 11. 证 明 : 不 可 约 链 为 非常 返 的 充 要 条 件 是 存在 非 负 数列 |u;,iEE| ,使 得 
Wi 之 次 ， ujpjii， ;EE 


且 上 述 不 等 式 中 至 少 有 一 个 成 立 不 等 号 . 
5 一 12. 不 可 约 马 尔 可 夫 链 是 可 配 称 的 充 要 条 件 为 对 一 切 ijE 巨 及 任意 的 im 和 下 上 ， 
(1) Pi pii, pi >0>pipii, pini>0; . 
(2) = 站 依赖 于 ij 
Pii Pii,™ Pij 
§2.6 转移 概率 的 极限 性 质 


在 本 节 中 我 们 要 讨论 转移 概率 的 极限 性 质 ,进一步 揭示 平稳 分 布 的 概率 意义 . 
为 今后 使 用 方便 起 见 ,我 们 将 下 述 有 关 在 非 负 级 数 中 取 极 限 的 结果 写成 一 条 引 理 . 
引 理 6.1 设 对 一 切 i EE 及 nn 之 1,a(” 之 0, 则 
lim 2 a > 2 limat”. (1) 


证 任 取 正 整数 N ,在 下 式 中 令 2 一 co : 
区 af) ， 


lim Bal > > limal™. 

再 令 N 一 co 即 得 (1) 式 . 口 

定理 6.1 设 i 为 常 返 状态 , 则 - 

lim pi = diri. (2) 

证 按照 处 理 周期 状态 的 简化 方法 ,把 P44 看 作 一 个 新 的 马尔 可 夫 链 的 转移 概率 矩阵 , 则 在 
新 的 链 中 ,i 仍 为 常 返 状 态 , 且 平 均 返 回 时 间 为 m;;/qd; = 1/(dix;)( 原 来 的 d; 步 只 相当 于 一 步 )， 
所 以 不 妨 设 d; = 1. 我 们 也 不 妨 假 设 链 是 不 可 约 的 ,这 相当 于 局 限 在 一 个 常 返 类 中 讨论 . 

先 设 X= |X, ,n 这 01 为 正常 返 非 周 期 不 可 约 链 , 且 P(Xo=i)=1, 这 里 i 是 取 定 的 一 个 状 
态 . 取 马尔 可 夫 链 Y= |Y, ,n 之 01 与 XX 独立 ,但 有 相同 的 转移 概率 矩阵 ,和 且 P(Yo=& 有 )=xi. 令 


2 = (X,, Y,), 7 之 0. 


此 时 称 Z= |2Z,,n 之 0 为 X 和 YY 的 (独立 ) 耦 合 .在 例 2.4 中 ,我 们 已 知 Z = |Z, ,2 之 0 是 非 周期 
不 可 约 马 尔 可 夫 链 ,其 转移 概率 为 


Pa), m) — PiiPem (j,k),(l,m)EEXE. 
因此 ,不 难 直接 验证 1ro,o = zons,(j,k)EExXxEl 是 它 的 平稳 分 布 .所 以 Z 是 正常 返 的 . 令 


r=inf{n 之 0:Z, = (i,i)!, 
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则 P(r< co)=1. 对 任意 的 )， 


P(X, =j,rn)= P(X, =j, a 2 > P(Z, = (j,k),r=m) 


n=0 


= > SO 而 和 人 l= 


= 2 Psmp "ph "= P(rsm)py "), 
天 m=0 


m=0 


同 理 有 


P(Y, =j,rSn)= 2 2 P(2,=(k,j),r=m) 
3 m=0 


> 2 P(r= 7m)P(2,=(k,j)|2, = (i,1)) 


到 m 


2 P(r=m)pl ™). 
- m= 人 0 
因此 P(X, =j,r 夺 nn)=P(Y,=j,rn). 
1p -x|=|P(X, =j)-P(Y,=j)| 
=|P(X,=j,r>n)-P(Y,=j,r>n)|<P(r>n)—0, n> oo., 


最 后 的 不 等 式 来 自 于 0 夺 P(X,=j,r>n),P(Y,=j,r>n)P(r> 7). 
现在 设 X 为 零 常 返 非 周 期 不 可 约 链 . 我 们 要 证 明 
lim p= 0， i,j€EE. (3) 
在 上 面 的 证 明 中 构造 马尔 可 夫 链 Z 时 ,对 2Z 的 初始 分 布 作 一 点 修改 , 取 P(Yo=&)=1, 这 里 大 
是 任 一 取 定 的 状态 .这 是 必需 的 ,因为 现在 不 存在 平稳 分 布 了 .但 是 Z 仍然 是 不 可 约 链 .如 果 ZZ 
是 非常 返 的 ,由 于 


lim pey, (CD = = lim[ pw] =0, 


即 得 (3) 式 .所 以 ,下面 我 们 假设 Z 是 常 返 的 (这 与 初始 分 布 无 关 ). 现 在 用 前 面 的 证 明 仍 可 证 得 : 
对 一 切 i,j,kEE, 


lim| py ~ py |=0. (4) 


用 反 证 法 . 设 (3) 不 成 立 .由 于 0 和 po) 和 1, 用 对 角 线 法 则 可 知 ,存在 一 个 子 列 { mw| ,使 得 对 一 切 
j,LEE ,存在 极限 


lim py ) = wv), (5) 
且 {v,,LEEI 不 恒 为 零 .而 (5) 中 的 极限 与 j 无 关 则 由 (4) 而 来 .由 引 理 6.1， 
之 5 过 加 之 的 "= ) = (6) 
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同样 由 于 3) ,py = 1 ,在 


(n 1) := n) 

P jm »3 pip 
{ 

中 令 vu 一 品 可 得 


再 在 


PC 之 py ) py, 
中 令 vy- 一 00 ,由 引 理 6.1 


vn 之 D> vipim， mE€EE. (7) 


i 


然而 又 由 于 


1 之 2 o> 之 2 wip 之 2 po = > vl, 


因此 (7) 式 中 必须 全 部 成 立 等 号 , 即 1v, ,jE 下 | 是 不 变 测度 .但 由 (6) 知 存在 平稳 分 布 .这 显然 与 
零 常 返 的 假设 矛盾 . 口 

下 面 的 定理 全 面 地 总 结 了 p( 的 极限 性 质 

定理 6.2 (1) 设 j 为 非常 返 状态 , 则 对 一 切 i EEE， 


(2) 设 j 为 常 返 状 态 ， 


(i) 车 i&C(j), 且 i 是 本 质 状态 , 则 对 一 切 n ,py ?=0; 
(iD 车 i€C(j), 且 jEC,(i), 则 


lim pi I 
而 & 天 ndi + r(n 为 整数 ) 时 ,p=0; 
(iii) 若 i 为 非 本 质 状态 , 则 对 1 志 r 志 4d;， 
lim pei*") = 扫 > et (8) 
ee 万 v=0 


证 (1) 及 (2)(i) 都 是 显然 的 .我 们 只 要 证 明 (2)(ii) 及 (2)(ii) 中 的 两 个 极限 等 式 .我 们 有 


pe Fs 2 pp ve 
由 (2) 式 及 引 理 3.1 得 (8) 式 .车 i€C(j), 且 jEC,(i), 则 关 vdj+r 时 ,p=0, 从 而 /和 ?= 
0, 2》) Hi = > /Y=1, 即 得 (2)(i)， 口 
v=0 n=1 


定理 6.2 的 叙述 如 此 复杂 ,主要 是 由 于 状态 ; 可 能 为 周期 状态 引起 的 . 若 j 为 非 周 期 状态 ， 
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结果 就 十 分 简洁 了 
推论 。 设 j 为 非 周 期 状态 , 则 对 一 切 i EE， 


lim py = fx. (9) 
证 检查 定理 6.2 的 各 条 ,它们 都 归结 为 (9). 口 
若 链 为 遍历 不 可 约 的 ,由 定理 6.2 的 推论 ,对 一 切 i,jEE， 


limpy 7) = 区 


即 如 果 转 移 的 步 数 很 大 ,系统 进入 状态 j 的 概率 与 初始 状态 无 关 .更 进一步 ,不 论 初始 分 布 如 何 ， 
我 们 总 有 


limP(X, =j)= lim 2 P(Xo= i) p= >， P(Xo= i) x = x,, 


即 长 时 间 之 后 ,系统 的 状态 的 分 布 趋 于 稳定 ,收敛 于 平稳 分 布 ,平稳 分 布 就 是 马尔 可 夫 链 的 极限 
分 布 .在 实际 应 用 中 ,在 系统 运行 长 时 间 之 后 ,平稳 分 布 就 可 以 近似 地 看 作为 系统 状态 的 分 布 .这 
是 平稳 分 布 的 又 一 重要 概率 意义 .下 面 的 定理 更 深入 地 说 明了 平稳 分 布 的 极限 意义 . 

定理 6.3 设 链 为 正常 返 不 可 约 的 , 则 对 任意 的 状态 ; 


P (lim 2 Da ee (10) 


证 如 定理 3.9, 定 义 r;(0)=0， 


ri(k)=inf{fn>r,(k -1): X, =i|},， 上 上 宇 1， 
wi(k)=ri(k)-—r(k—-1), kl. 


Tw;(k),k 之 2 是 i.i.d. 序 列 , 且 E[w;(2)]= m;<o%0, 由 i.i.d. 序 列 的 强大 数 定律 ， 
P(limiri(n) = ma )=1. (11) 
no 了 2 


记 N, = 之 /1x -il, 则 由 常 返 性 ,N,-oo, 且 


ri(N, )n<r(N, +1), 


CON) r;(N, +1) 
人 SS (12) 


由 (11) 及 (12) 即 得 (10). 口 


(10) 式 中 的 二 ”11x -就 是 状态 i 在 {1X;，,…,X,| 中 出 现 的 频率 .这 个 频率 依 概率 1 
收敛 于 长 时 间 后 系统 处 于 状态 i 的 概率 ;. 自然 ,这 也 可 称 之 为 正常 返 不 可 约 马尔 可 夫 链 的 大 数 
定律 . 

例 6.1 有 两 个 反射 壁 的 随机 游 动 ” 设 状态 空间 为 10,1,…,al, 转 移 概率 矩阵 为 
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ro po 0 oa a so 0 


qt ri Pr YY a 0 
P= ， 

0 go ra pa 

On -a Ba 0 gq, r, 


p;>0,0<i<a-1, gq; >0,1i<a. 


这 时 我 们 可 以 设想 ,在 “一 1/2” 及 “a + (1/2)” 两 处 各 有 一 反射 壁 ,因此 这 是 一 个 有 两 个 反射 壁 的 
对 称 随机 游 动 .不 难看 出 ,这 是 一 个 有 限 不 可 约 链 , 因 而 是 正常 返 链 .为 了 求 平稳 分 布 ,只 要 解 方 
程 组 


Zz0= rozo+ qiz1, 
Zi= pi_1Zi-1t rizit+ qi+izitis li<a-1, 


Za = pa-1zXa-1 t+ razo- 
与 例 5.4 类 似 地 可 得 


< pipod pp 1%po 
不 难 直 接 验 证 ,这 时 链 是 可 道 的 . 


若 随 机 游 动 是 对 称 的 : p; = 9;;1=1/2,0 亿 i 志 a -1, 则 链 是 非 周期 的 ,因而 是 遍历 的 , 且 平 稳 


分 布 为 均匀 分 布 :ri = 一 ,0O<isa-. 所 以 ,不 论 游 动 从 哪 一 个 位 置 出 发 ,长 时 间 之 后 每 个 位 轩 
都 是 等 可 能 的 : | 


limP(X, = ) = 0 委 : 委 wa， 口 ] 


二 


例 6.2 某 人 为 了 雨天 上 下 班 的 方便 ,购置 了 N 把 伞 , 分 别 放 在 家 里 与 办 公 室 里 .如 出 门 
(不 论 上 班 或 下 班 ) 天 晴 ,他 就 不 带 伞 . 如 出 门 遇 天 雨 ,手边 也 有 伞 , 他 就 带 一 把 伞 用 .只 有 出 门 遇 
天 十 ,但 手边 又 无 伞 可 用 , 才 遇 到 困境 .每 次 出 门 ,天 是 否 下 十 是 随机 的 .出 门 遇 到 天 雨 而 又 无 伞 
可 用 ,自然 也 是 随机 事件 , 且 遇 上 困境 的 概率 a 与 伞 的 把 数 N 有 关 . 如果 要 使 < 魏 0.05 ,应 购 多 
少 把 伞 ? 

为 使 问题 简化 ,假设 出 门 遇 天 雨 的 概率 为 p(0<p<1), 且 各 次 出 门 是 否 天 雨 互 不 相干 , 自 
然 也 与 手边 有 几 把 伞 无 关 , 以 X, 记 出 门 n 次 之 后 ,此 人 手边 可 用 的 伞 数 .不 难看 出 ,在 我 们 的 假 
设 之 下 ,|X, ,2 之 0} 是 一 个 有 限 马 尔 可 夫 链 ,其 状态 空间 为 10,1,…,N+ ,转移 概率 为 


pon=1; piN-j+i=p, pn j=q4=1-p, 1l<j<N. 


事实 上 ,只 需 注 意 , 若 手边 无 伞 , 只 能 空手 出 门 ,到 另 一 边 之 后 (不 论 到 办 公 室 或 回 到 家 里 ) 手 边 就 
有 N 把 伞 了 ; 若 手边 有 j 之 1 把 伞 ,出 门 天 雨 就 带 一 把 伞 过 去 ,到 另 一 边 之 后 ,手边 就 有 N -ji+l 
把 伞 了 ,而 出 门 天 畏 的 话 ,到 另 一 边 之 后 ,手边 就 是 N -7 把 伞 了 . 写 出 转移 概率 矩阵 用 起 来 会 更 
方便 . 
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0 0 0 0 0 

0 0 p 
P=10 0 … aa pp 0 

qg pp 0 .: 0 0 0 | 


易 见 ,这 是 一 个 遍历 不 可 约 链 . 
我 们 首先 要 知道 手边 无 伞 的 概率 , 即 P(X, =0). 长 时 间 后 ,这 概率 与 初始 分 布 无 关 . 因此 ， 
我 们 只 需求 它 的 极限 , 即 xo. 为 此 , 列 出 平稳 分 布 满 足 的 方程 组 : 


X0 一 QTN， 
Ne =anxNn pt DrNv_ gris 0<k<N, 


AN= Not pri. 
由 第 一 个 方程 ,x = ro 再 由 最 后 一 个 方程 得 


1 1 
Try) = (1) r= ro. 


接着 可 求 得 xw ,= ro. 一 般 地 ,不 难 验 证 x = Fro lShN. 因此 


N 
i To= 


按 假设 ,天 是 否 下 雨 与 手边 的 伞 数 无 关 .所 以 ,出 门 遇 天 雨 而 手边 又 无 伞 的 概率 为 a ee 
般 , 天 雨 的 概率 p 未 知 .我 们 可 用 下 列 方便 的 估计 ( pg 志 1/4): 


pq -一 上 
d+N i AN 


要 使 c 委 0.05 ,可取 N=5, 即 购置 5 把 伞 就 够 了 .但 要 使 < 委 0.01 ,必须 取 N = 25, 这 数量 就 略 嫌 
多 了 一 些 . 口 


对 周期 状态 j,(9) 式 虽 不 再 成 立 ,但 如 果 我 们 讨论 平均 值 二 > p 六 代替 py, 就 能 消除 
周期 的 影响 . 
引 理 6.2 设 数列 1a, ,n 之 11 满 足 条 件 :存在 正 整 数 4 使 


limarw+ = b,， 1 志 r 志 4d， 
则 
< 1 
多 


证 由 引 理 3.1 可 知 
.85 . 


记 a=supnzilan|, 把 n 写成 n= kd+s,1 志 5s 全 4d, 则 


DD] 
v=1 


ee +b)| 


v= kd+1 


1 i > 沁 证 。 
r=1 


nco 时 ,co, 生 一 1, 由 此 即 得 引 理 结论 ， 口 
定理 6.4 对 任意 的 i ,jEE, 存 在 极限 


ni; = -lim 二 3 py = 万. (13) 


证 若 j 为 非常 返 状 态 , 则 lim,.wp$Y ?=0 及 x=0,(13) 式 显然 成 立 . 
若 j 为 常 返 状 态 ,由 (8) 式 


oo 


lim py ” en ne Ta 
一 oo 2 
由 引 理 6.2 


d. 
J 
过 ud 2 
tim 3 2 p= 3 加 ’= fx. 口 
r=1 v0 


由 定理 6.2 及 6.4 可 见 ,只 有 对 正常 返 状态 i ,极限 lim, .。p$” 为 正 , 对 其 它 的 状态 .这 极限 
都 为 零 . 这 也 可 看 作 正常 返 与 零 常 返 的 名 称 中 正 与 零 的 由 来 . 

例 6.3 ”对称 随 机 游 动 在 例 3.1 中 ,我 们 已 经 知道 ,直线 与 平面 上 的 对 称 随机 游 动 是 常 返 
的 .那里 也 分 别 计算 得 到 


(n) ~ l n) “= 
po 全 -一 二 ， 0 。 
nn nn 
因此 
lim p88’ =0 lim pl8’0)(0.0) =0 
im poo ， 1 pl0.0)(0,0) 一 


所 以 ,直线 与 平面 上 的 对 称 随 机 游 动 都 是 零 常 返 的 . 口 ] 
. 例 6.4 设 转移 概率 矩阵 为 
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1/6 16 16 16 1/6 16 
0 14 1/4 1l2 0 0 


0 1 0 0 0 0 
| 二 
0 0 0 0 0 1 
0 0 0 0 143 2 


我 们 来 计算 和 矩阵 (x ). 首先 讨论 状态 的 分 类 :|1,2,31 及 14,51 是 两 个 本 质 类 , 即 正 常 返 类 ,状态 
0 是非 本 质 的 . 先 分 别 在 两 个 正常 返 类 中 求 出 平稳 分 布 . 


二 1 
1 Ta 3 
Tr2 4T1t Xx, 
1 5 二 T4 二 本 5 
T3 了 XI 
由 此 不 难 解 得 
3 1 3 1 
T2241 x3 二 7 Al， 4L+ 玫 +7)ru=1l， 
EE Ly 二 
9 3 9 
类 似 地 ， 


xs=3r4, (1+3)x4=1， x4= 卫 ， 将 


现在 再 计算 (f;). 只 要 计算 for= foz = fo 及 fo4= fos: 事 实 上 ,尽管 foo=176 是 易 见 的 ,但 
ro 三 0,roo=0, 所 以 不 必 去 求 foo 的 值 .其 它 的 万 或 为 1 或 为 0, 容易 按 分 类 确定 . 


1 
1o = Gf 2， 
1 1 
fu 6fut3 


最 后 即 得 


0 4/5 1/5 2715 1/5 3710 

0 409 13 29 0 0 
0 49 13 29 0 0 
(mo 4 13 29 0 0 
0 0 0 0 14 3/4 
0 


0 0 0 1/4 3/4 


定理 6.5 零 常 返 类 必 包 含 无 穷 多 个 状态 . 
2 


证 设 零 常 返 类 C 为 有 限 集 .由 (10), 对 任意 的 i,jEC,， 
im} > p=0, 


从 而 


rp 


y=1 


但 是 C 是 常 返 类 ,是 闭 集 ,因此 之 ;cp 名) = 1, 得 出 矛盾 , 故 C 为 无 限 集 ， 口 

由 定理 6.5 立即 可 知 , 有 限 马尔 可 夫 链 没有 零 常 返 状 态 .这 是 我 们 早已 知道 了 的 (定理 5.4 
的 推论 ). 

定理 6.6 存在 平稳 分 布 的 充 要 条 件 是 存在 正常 返 类 .车 正常 返 类 记 为 Di,D,,…, 则 平稳 
分 布 具有 下 列 形式 : 


(14) 


其 中 2, 宕 0, 4,=1. 
证 ”对 每 个 正常 返 类 DD,， 
2 7 一 > jE€ED,. 
因此 ,车 存在 正常 返 类 ,可 直接 验证 (14) 定 义 的 lu,,iEE! 确 实 为 平稳 分 布 . 
现在 假设 iu; ,iE | 为 平稳 分 布 ,要 证 必 存 在 正常 返 类 ,和 且 iu,iEEl 有 (14) 的 形式 .由 于 
TI 
n v=1 
令 2 一 co ,由 定理 6.4， 
uw=( ufi)n, iiEE. (15) 
不 


如 果 没 有 正常 返 状态 , 则 对 一 切 i€ ,x; =0,u;==0, 这 与 之 ) u; = 1 是 蔬 盾 的 . 所 以 必 存 在 正常 
返 类 .由 (15) 式 已 知 ,i& UjD; 时 zi=0,w=0. 令 罗 = > ,ww. 设 iED. 


ic 了 
1 «~ Le 
“= Dui = Dl 0), 
人 7 ,=1 #4€D, nl / 
在 上 式 中 令 n 一 品 即 得 wu; = Xz;. 此 外 ， 
| N= 2 ui= jui=1 
1 ED J 


所 以 ,ju;,iEEI 具 有 (14) 的 形式 ， 口 
推论 ”存在 唯一 的 平稳 分 布 的 充 要 条 件 是 恰 有 一 个 正常 返 类 . 
在 定理 6.5 及 6.6 的 证 明 中 我 们 不 难 注意 到 定理 6.4 起 到 的 重要 作用 .下面 ,我 们 再 用 它 证 
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明 判 别 常 返 与 正常 返 的 两 个 准则 . 
定理 6.7 设 不 可 约 链 满足 下 列 条 件 : 存 在 |y;,iEE! 及 某 个 状态 j 使 得 ;天 ) 时 
2 pay<y; 


及 lim, -wy = +oco, 则 链 为 常 返 的 . 
证 与 定理 4.4 的 证 明 一 样 ,我 们 构造 一 个 新 的 马尔 可 夫 链 , 它 使 状态 ) 为 吸收 状态 , 它 的 


转移 概率 为 
这» jj， 
a 7 i,kEE. 
Oi， z 二 1， 
这 样 对 一 切 i€E ,我 们 有 
2 pay (16) 


我 们 可 以 认为 y 宇 0,iEE. 不 然 的话 , 只 要 用 y; -inf,y, 代替 y,(16) 式 仍然 成 立 .现在 重复 使 
用 不 等 式 (16) ,由 归纳 法 可 知 ,对 高 阶 转移 概率 p4" 也 有 同样 的 不 等 式 : 


2 Pp YSYi, i€E. 


记 us 二 infi>nyi;y 则 lim,.wus= +co, 对 充分 大 的 N ,uv>0， 


yi 之 2 py yi uy 5 pas > > Be 


k=N+1 k= N+l UN p=N+l 


N oo 
本 其 ) 一 nn Vi 
2 Dl 
k=0 k=N+1 N 
a (vu) 
(+ > Pi j>1- 兰 
t=0 \n "71 UN 


令 nco ,再 令 N 一 co 即 得 

ra>1, iiEE. 
然而 相反 的 不 等 式 总 是 成 立 的 :在 式 子 

[之 人 39 
中 令 ”oo ,由 引 理 6.1 即 得 > ,i4<<1. 因 此 

Din=1, i€E. 
注意 到 & 尖 7 时 ,去 =0, 因 为 & 是 非常 返 的 ;但 元 =1, 因 为 ) 是 吸收 状态 .所 以 对 一 切 i EE， 
方 =1. 我 们 早已 知道 i 关 j 时 , 方 = 方 =1. 仍 由 定理 4.1 的 推论 可 知 , 原 来 的 不 可 约 链 是 常 返 
的 口 
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引 理 6.2 设 链 为 正常 返 不 可 约 的 , 则 对 任意 iF¥j, mij < oo ， 
证 由 于 j 一 i ,存在 状态 11 ,2 使 >0, 且 记 关 jj ,UV 一 1 ,nn : l1. 由 定 
理 4.7， 
mj 一 >) pm +1， 


kA 


由 于 mj 人 ,pi >0,71 天 ) ,所 以 必须 mij<%. 同样 地 由 于 


mi j= 23 pirmi + 1 


Ej 
及 pi'i, >0,i2 闯 j ,得 到 mij 人 < %. 依 次 下 去 , 即 可 知 mi;<%. Ll 
定理 6.8 不 可 约 链 为 正常 返 的 充 要 条 件 是 存在 非 负数 列 | x, ,iEE|1 及 一 个 状态 (或 任 一 个 
状态 )j ,使 得 


pa i 关 j， 
大 


(17) 
2 pre<™. 
证 先 证 必要 性 . 设 链 为 正常 返 不 可 约 的 . 任 取 一 个 状态 ) , 令 
mj i 关 j， 
= i=j. 
仍 由 定理 4.7,i 关 j 时 
之 pizt = 2 pams = m1= zi-1. 
i 4 
另 一 方面 ， 
> Pikze = 和 pirmy= m1l<o%. 
再 证 充分 性 .这 时 有 一 个 状态 j 使 (17) 成 立 . 记 5 = > ,pxzt<m. 令 
z 人 = z,, 人 
5 
易 见 ,z=6,z(2 了 <z; 一 1,i1 头 j. 而 n 之 1 时 
zi"+2) = > (之 的 )z = Zp 
Sp + Zp (ul) 
2 
=(1+6)py -1+ 2p’z 
i i€EE. (18) 


由 (18) 式 ,用 归纳 法 可 知 ,对 n 守 1 及 i EE,z("”<o0, 且 


0<z"+ WC(l 十 6) > 户 (2) 一 hn 十 z02), 
v=1 


3 1 


00 。 


(2) 


6 人- 天- 


n 


之 和 >0, 从 而 >0,j 为 正常 返 , 链 也 为 正常 返 的 。 口 


我 们 对 离散 时 间 马 尔 可 夫 链 的 一 般 讨论 ,到 此 告 一 段落 .总 的 说 来 ,我 们 对 一 个 岛 尔 哥 夫 链 
所 作 的 分 析 ,包含 这 样 一 些 要 点 : 先 确定 转移 概率 矩阵 ,这 是 讨论 的 出 发 点 ;然后 将 状态 进行 分 
类 ,确定 状态 的 周期 ;判别 状态 类 是 本 质 或 非 本 质 的 , 常 返 或 非常 返 的 ,正常 返 或 零 常 返 的 ; 求 平 
稳 分 布 或 不 变 测 度 ,注意 链 是 否 可 逆 或 可 配 称 .掌握 了 这 些 情况 ,就 能 对 一 个 马尔 可 夫 链 的 变化 
趋势 及 概率 规律 有 一 个 充分 的 认识 .对 于 一 个 具体 的 马尔 可 夫 链 ,往往 是 某 一 些 问题 有 突出 的 意 
义 ,应 依据 具体 情况 作 具体 的 分 析 ,不 一 定 要 面面俱到 .对 于 有 限 马 尔 可 夫 链 ,情况 要 简单 得 多 ， 
因为 它 的 状态 或 为 非 本 质 的 ,或 为 正常 返 的 ,而 且 必定 存在 正常 返 状 态 ,也 就 必 有 平稳 分 布 . 另 一 
方面 ,从 非 本质 状 态 出 发 ,必定 迟早 要 进入 正常 返 状 态 . 

尽管 我 们 对 离散 时 间 的 马尔 可 夫 链 作 了 相当 深入 的 讨论 ,但 毕竟 还 只 是 初步 的 .特别 ,由 于 
我 们 局 限于 只 使 用 初等 的 方法 ,以 致 无 法 对 马尔 可 夫 链 的 许多 较 深 刻 的 概率 性 质 作 进一步 的 讨 
论 . 继 续 讨 论 马尔 可 夫 链 的 理论 需要 进入 专门 的 研究 领域 . 

在 应 用 领域 中 ,在 建立 数学 模型 时 ,常常 可 能 遇 到 马尔 可 夫 链 .在 充分 讨论 了 所 遇 到 的 马尔 
可 夫 链 的 性 质 之 后 ,就 可 以 按照 实际 的 需要 ,解决 所 提出 的 问题 .下 面 我们 再 举 两 个 排队 论 的 例 
子 .对 这 些 例子 的 分 析 也 是 综合 运用 已 讲述 过 的 理论 的 练习 . 

例 6.5 排队 系统 M/G/1 的 嵌入 链 ” 设 在 某 个 服务 部 门 ,顾客 随机 地 相继 来 到 .假定 顾客 
来 到 的 间隔 时 间 构 成 独立 同 分 布 的 随机 变量 .有 若干 个 服务 员 按照 一 定 的 规则 依次 为 顾客 服务 ， 
通常 按照 “ 先 来 先 服务 "的 规则 办 事 . 一 个 顾客 到 来 时 ,如 有 服务 员 空 着 ,就 可 以 立刻 得 到 服务 , 服 
务 完毕 ,顾客 随即 离 去 .如 果 全 体 服 务 员 都 在 工作 ,顾客 就 按 来 到 的 次 序 排 起 队 来 . 当 有 一 个 服务 
员 结 束 服务 时 有 顾客 在 排队 ,他 就 立即 为 排 在 最 前 面 的 顾客 服务 .假定 各 个 顾客 的 服务 时 间 也 是 
独立 同 分 布 的 随机 变量 ,征服 务 时 间 与 顾客 来 到 间隔 相互 独立 . 这样 的 排队 系统 记 为 G/G/S， 
其 中 第 一 个 G 代表 相继 来 到 的 两 个 顾客 之 间 的 时 间 间 隔 的 分 布 ,第 二 个 G 代表 一 个 顾客 的 服 
ee 表示 有 S 个 服务 员 . 实 际 生 活 中 发 生 的 许多 排队 现象 ,都 可 以 归结 为 上 述 模 

只 是 除了 通常 意义 的 顾客 与 服务 员外 ,顾客 与 服务 员 还 可 以 有 不 同 的 含义 .例如 飞机 到 机 场 
人 这 时 顾客 是 飞机 ,服务 员 是 跑道 ;汽车 到 加 油 站 加 油 , 这 时 顾客 是 汽车 ,服务 员 是 加 油 机 
等 等 . 

现在 假设 顾客 来 到 的 时 间 间 隔 服 从 指数 分 布 ,参数 为 *, 即 在 (0,z] 中 来 到 的 顾客 总 数 是 一 
个 参数 为 4 的 泊 松 过 程 .这 时 在 (z ,zt + Azt] 中 新 来 到 一 个 顾客 的 概率 为 XAt + o(At) ,来 到 多 于 
一 个 顾客 的 概率 为 o(A1),(z ,t+ At] 中 来 到 的 顾客 数 与 (0,z] 中 顾客 来 到 的 情况 相互 独立 . 设 
只 有 1 个 服务 员 , 按 先 来 先 服 务 的 原则 接待 顾客 . 这 样 的 排队 系统 记 为 M/G /1. M 是 指数 分 布 
的 代号 . 

我 们 以 X, 记 第 ” 个 顾客 服务 完毕 离开 时 系统 中 的 (在 接受 服务 及 在 排队 等 候 的 ) 顾 客 总 数 
(也 称 为 队伍 长 度 ). 初 始 时 刻 取 为 第 一 个 顾客 来 到 的 时 刻 , 即 Xo =1, 则 | X,,n 宇 0| 为 马尔 可 夫 
链 .事实 上 ,以 &, 记 第 n 个 顾客 数 在 接受 服务 期 间 来 到 的 顾客 数 , 则 


X, =max(X,_1—1,0)+é&,, 7 之 上， 


令 2 一 co, 即 得 zi 之 
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且 | 所 ,7 之 1 为 id. 随 机 变量 ,其 共同 分 布 为 


P(é,=k)= wx 三 | Gs) 





e “dG(), k=0,1,2,.…. 


这 里 直观 地 利用 了 泊 松 过 程 在 任 一 长 度 为 t 的 区 间 上 的 增 量 服从 参数 为 Xt 的 泊 松 分 布 ,和 且 不 相 
交 区 间 上 的 增 量 相互 独立 .由 于 |X, ,n 实 01 是 一 些 特定 时 刻 的 队长 ,所 以 通常 被 称 为 租 人 入 链 .由 
定理 1.5 可 知 ,|X,,n 宇 0| 的 转移 概率 和 矩 阵 为 


_ 1 一 
Qj 1 J 二 1 9 
:一 Ci， 让 一 之 1 . 
Co 2 
我 们 有 
a0o>0, aot+ai<1. (19) 


容易 看 出 ,在 条 件 (19) 之 下 , 链 是 非 周期 不 可 约 的 . 记 p= > kai .我 们 将 证 明 : 

(1) 若 p>>1, 链 为 非常 返 的 ; 

(2) 车 p=1, 链 为 零 常 返 的 ; 

(3) 若 o<1, 链 为 正常 返 的 . 
事实 上 ,o 是 一 个 顾客 的 服务 期 内 ,来 到 的 顾客 的 平均 数 .从 直观 上 不 难 理解 . 当 p>1 时 ,队伍 会 
越 来 越 长 , 链 不 会 是 常 返 的 .我 们 也 早已 熟知 , 链 为 非常 返 不 可 约 时 , 必 有 

PCOlim Xe = 二 oo 

当 p<1 时 ,队伍 自然 不 会 越 来 越 长 ,队伍 的 长 度 近似 地 有 一 个 稳定 的 分 布 ,这 也 是 能 够 从 直观 
上 想到 的 .只 有 p=1 的 情形 难以 从 直观 上 作出 判断 . 

设 p>1. 记 A(z)= Zaix#. 由 引 理 4.4, 这 时 方程 A(x)=x 在 (0,1) 中 有 一 个 根 &. 令 
zi 三 名 ,i 之 0, 则 i 尝 1 时 


> = > PE >) nh 
k k=i-l k=i-1 
A 


iz; = 有 之 0 显然 是 非常 数 的 有 界 数列 , 故 由 定理 4.5, 链 是 非常 返 的 ， 
设 po 委 1. 当 ;之 1 时， 
92 。 


ps 2 a 2 (ap 
k=1 hil 
= Dkpa— (i-1) 2 ai Dpa— (i-1), 
天 ki 一 1l 下 
i 之 kpa+1- p> 之 力 丰 ， 
k 到 
令 y=i,i 宇 0, 则 
yi 2 jy， z 天 0， 
友 


且 lim, -wy = %, 故 由 定理 6.6, 链 是 常 返 的 . 
设 o<1, 当 ;之 1 时 ,由 (20) 式 





k 1 
< sk 
Pl 
>) pazi<z; 一 1， 1 天 0， 
大 


2 po = 之 mw es 





故 由 定理 6.7, 链 为 正常 返 的 . 


(20) 


最 后 ,假设 链 为 正常 返 的 ,我 们 要 证 明 p<1, 且 同时 求 得 平稳 分 布 的 母 函 数 x (z) = 


2 ,_。 mex. 将 式 子 


i+1 
Ti 二 了 ra = roa;+ > TCRACQi k+l 
k k=1 
两 端 乘 以 zx’ ,再 对 i 相 加 可 得 


x(z)=xoA(z)+ 之 (2 riadiyD -jz 





= xoA(z)+ 一 了 (> Mia (it1) hk Aoai+i) zt! 
= xo4A(z)+ 二 [>， (2 riai kk )' — ro > aiz | 
=xo4(z)+ 二 [> ( 2 rmi-ejz-xo Za 
= zxohA(z)+ 二 [x(z)A(z)- roA(z)]， 
从 而 有 
4(z)-1_1- A(z) 
z—1 "70 x(z) 


(21 ) 


。， 03 。 


令 z 一 1 即 得 
p=A(l)=1- xo<!1. 
另 一 方面 ,由 (21) 可 解 得 


(1-x)4A(z) (1-o)(1L->)A(Cz) 
人 


例 6.6 排队 系统 G/M /I 的 嵌入 链 ” 现在 考虑 排队 系统 G/M /1, 这 时 服务 时 间 服 从 指数 
分 布 ,参数 为 .现在 以 X, 记 第 n+1 个 顾客 到 达 时 的 队伍 长 度 (Xo=1), 则 1X, ,nn 之 01 也 为 马 
尔 可 夫 链 , 它 是 G/M /71 的 嵌入 链 .事实 上 , 令 & 为 第 个 顾客 与 第 n +1 个 顾客 到 达 时 刻 之 间 
的 间隔 内 服务 完毕 的 顾客 数 , 则 

X, =max(X, .1+1-é&,,0), 九 之 上 ， 


且 |&,,n 之 11 为 i.i.d. 随 机 变量 ,其 共同 分 布 为 
Pp(é,=k)=a,= | Cl) -emdG(D)， k=0,1,2,.…. 


同样 地 ,由 定理 1.5 可 知 ,1X, ,nn 之 0| 的 转移 概率 和 矩阵 为 


Qo ug 0 0 


其 中 a;= 这 "a4, 即 
ai， J =0， 
piy= Nai-j+rls 0<ji+1, 
全 1 二 1<</. 


条 件 (19) 仍 然 成 立 ,这 时 链 仍 为 非 周期 不 可 约 的 . 
同样 记 p= 之 )，，kai .我 们 将 证 明 : 


k=1 

(1) 车 p<1, 链 为 非常 返 的 ; 

(2) 若 p=1, 链 为 零 常 返 的 ; 

(3) 若 p>1, 链 为 正常 返 的 . 
现在 。 是 两 个 相继 的 顾客 到 达 时 刻 之 间 的 间隔 内 服务 完毕 的 平均 顾客 数 .类 似 地 ,也 可 给 上 述 
结果 作 直观 的 解释 . 


设 p>1. 由 引 理 4.4, 方 程 A(z)= > 


了 aizt = 二 z 在 (0,1) 中 有 一 个 根 6. 令 z; = &,i 之 0， 
则 i 宇 1 时 


>,zkpu = > pn a = & 1A(£)= 8 = 2,, 
= 1 k=- 0 


4 


04 : 


oo oo oo oo oo ij-1 om _ : 
2 ap to 2 Dag Dag Dds 
=0 k=0 k=0 了 = 大 + 7J=1 k=0 j=1 


EN 
-0 名) = 1-—& =1= zo. 


此 外 ， Dn。 z= 了 二 E< ,所 以 链 为 正常 返 , 且 平 稳 分 布 为 
x;= (1-é€)&, 1 之 0. 


设 o 和 1. 上 时 


oo oo oo 
2 Pri = > dag-i+1™ Dl 

k=U k= i kU 

oo oo oo oo oo 

2 Be= 2 = 2 = el 
A=0 =00 A=0 j= k+l j=1 


令 z; = 二 1,i 宇 0, 则 
zi 之 2 zapu， 1 之 0. 
但 >xi= % ,由 定理 5.6, 链 不 是 正常 返 的 . 
为 了 进一步 区 分 ( 零 ) 常 返 与 非常 返 ,讨论 线性 方程 组 
y; = 2 piy:, z 天 0 


的 解 .不 妨 设 yo = 0. 不然 的 话 , 可 用 y; - yo 代替 yw. 记 Y(z)= 2》) yzt. 这 时 


i+1 
i= 3 i0,， 
k=1 
2 


oo oo itl 
zY(z)= 2 全 > > ai+1-4 WE = > ( ai yk )= 
i=1 -1 i=2 一 


可 2 (2 Qi - hz aoyz= A(z)Y(z)— avyiz, 
tl kl 


CO0y1YZ 


(a z 
另 一 方面 ,我 们 有 


i 


这 里 


(22) 


(23) 


0905 。 


因此 
= 1 一 
有 (24) 


六 一 0 





展开 式 中 的 系数 5b, 非 负 ;b, 宇 0,n 宇 0. 
再 由 (23) 式 ， 


oo 


kh "> 
Y(z)=a0yz AT2) ZI z oy 之 bo 之 z 


二 40y1 > (>, by jz 
n=0 k=0 


Yn+1™ G0Y1 人 n 之 0， (25) 
£0 
然而 由 (24) 式 
So = lim lim 2 
k=0 -A( )—z -A (z) 一 1 
= lim L 
3 1- >， karze 1 
k=1 
1 
到 人 
十 oo ， p=1. 


因此 ,车 p=1, |y,n 宇 01 为 方程 组 (22) 的 有 界 解 ,必须 y, =0,n 之 1. 注 意 到 我 们 假设 yo。=0, 即 
用 y; - yo 代替 y; ,所 以 方程 组 (22) 的 有 界 解 必 为 常数 ,从 而 链 为 常 返 的 . 若 p<1, 按 (25) 式 定义 
ya yn 宇 1, 取 yi 关 0 及 yo 0, 把 前 面 的 推导 倒 推 回去 ,可 知 | y, ,n 宇 0| 为 方程 组 (22) 的 非常 数 的 
有 界 解 , 从 而 链 为 非常 返 的 . [] 
习 题 
6 一 1. 设 存在 RZP1 及 正常 数列 | Ci ,jEEl, 使 得 对 一 切 i,jEE， 
pL’ 宕 C0; >0， 
“证明: 链 为 遍历 不 可 约 的 . 
6 一 2. 证 明 : 有 限 马 尔 可 夫 链 为 遍历 不 可 约 的 完 要 条 件 是 存在 上 之 1, 使 得 对 一 切 i,j EE， 
py >0. 
6 一 3. 若 链 为 有 限 遍 历 不 可 约 的 , 则 存在 常数 c>0 及 0<p<1, 使 得 对 一 切 i,jEE 及 
元 之 1 ， 
[Wa Tj|ep". 
6 一 4. 设 市 场 上 有 a 种 牌号 的 牙 青 , 记 为 11,2,…,al|. 假设 消费 者 相继 选用 的 牙 青 牌号 构 
成 马尔 可 夫 链 .选用 第 i 种 牌号 牙 肖 的 消费 者 继续 使 用 第 i 种 牌号 有 牙 尝 的 概率 为 p;;,0< pi<1， 


。06 。 


1=1 ,aa .如 果 他 对 原来 用 的 牙 青 不 满意 ,就 在 其 它 的 和 -工种 牙 青 中 任 选 一 种 . 因此 
: 1 i > 
We | : 人 





: 求 长 时 间 后 第 i 种 牌号 的 牙 吝 在 市 场 上 的 占有 率 . 
6 一 5. 一 个 工厂 使 用 S 部 同样 的 机 器 .一 旦 一 部 机 器 出 毛病 ,就 予以 更 新 .在 每 周 开始 时 , 工 
厂 提出 新 机 器 的 定单 ,以 保持 机 器 的 总 数 为 S ,但 需 等 待 一 周 方 能 收 到 定货 .以 X， | 表示 第 n 
周 开始 时 ,正常 工作 的 机 器 数 , 设 Xo= S. 以 了 记 第 nn 周 内 出 毛病 的 机 器 数 .假设 


一 了 i ”二 sn 
POY,=j|X, 1)= 7 J=0,1, sl, 


则 |X,,n 之 01 为 马尔 可 夫 链 . 求 长 时 间 后 ,每 周 开 始 时 正常 工作 着 的 机 器 的 平均 数 . 

6 一 6. 设 马 尔 可 夫 链 有 a+1 个 状态 0,1,…,aj, 其 中 0 及 a 为 吸收 状态 ,|1,…,a 一 1 为 
非常 返 类 . 取 定 状态 人 ,1<R<a 一 1,ui 为 从 kk 出 发 被 0 或 a 吸收 的 平均 吸收 时 间 . 现 在 构造 一 
个 新 的 链 , 其 转移 概率 为 


万 ok = bar=1; bi = pi, 1 天 0 或 a ， 
则 新 的 链 有 唯一 的 平稳 分 布 :| 元 ;,0 志 i 过 a| .证 明 : 
zk 二 (元 0 十 元 ) '—1. 
6 一 7. 设 转移 概率 延 阵 为 


0 1l《4 12 0 14 0 
1/4 0 0 14 0 12 


0 0 12 12 0 0 

I - oi 
0 0 0 0 13 2 
0 0 0 0 112 12 
0 0 1/4 1/4 14 1/4 
0 14 0 12 0 1/4 
0 0 12 12 0 0 

人 0 0 0 12 12 0 
0 0 1 0 0 0 
0 0 0 0 0 1 

求 和 矩阵 (zr; ) . 

6-8. 记 瑟 =(ri). 证 明 : 

(1) HI = HP; 

(2) HH=PH:; 

(3) HH = I; 


(4) (P- H)"=P” -IH,n>1. 
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6 一 9. 车 对 一 切 iE 巨 , > ri 1, 链 称 为 非 消散 的 .证 明 : 

(1) 链 为 非 消散 的 充 要 条 件 是 :本 质 状 态 必 为 正常 返 状 态 , 且 从 非 本 质 状 态 出 发 迟早 要 进入 
正常 返 状态 ; 

(2) 若 infi 之 ) mi >0, 则 链 为 非 消散 的 

6 一 10. 设 转 移 概 率 矩 阵 满 足 条 件 : 

2 ps=1, jE€EE, 

即 正 常数 列 为 不 变 测 度 ( 这 样 的 转移 概率 给 阵 称 为 双 随 机 的 ). 证 明 : 

(1) 车 状态 空 闻 有限 , 则 全 部 状态 为 正常 返 的 ; 

(2) 若 链 为 不 可 约 且 状态 空间 有 限 , 则 平稳 分 布 为 均匀 分 布 ; 

(3) 若 链 为 不 可 约 且 状态 空间 无 穷 , 则 链 不 是 正常 返 的 . 

6 一 11. 设 马 尔 可 夫 链 的 状态 空间 为 平面 上 两 条 坐标 轴 上 的 整数 点 , 且 和 转移 概率 为 


二 _1 
0.0)(0D 二 户 0.0(1L0) 二 访 0.0)00,-D 二 六 00(-10 一 才 ， 


PMG+1,0) = ps pei,0)(i 1.0 =1- Pp,i0,0< p<1, 
po DirD=rpbonoiD=1 -ri 天 0,0<r<1. 


证 明 : 链 或 为 非常 返 不 可 约 的 ,或 为 零 常 返 不 可 约 的 ;( 零 ) 常 返 的 充 要 条 件 是 p=r=1/2. 
6 一 12. 设 转移 概率 为 
Por=1,p; = il 
证 明 : 链 为 零 常 返 不 可 约 的 . 
6-13. 设 转移 概率 为 


po=1l, pi,i-1=g, pi,i+k™— Pes 1 之 1,& 之 0， 


0<gq<1, q+ > 


证 明 :(1) 2),_， kpi>q 时 , 链 为 非常 返 不 可 约 的 ; 
“(2) 了 ,hpi 一 gq 时 , 链 为 零 常 返 不 可 约 的 


(3) 和 ,1 kpr<q 时 ，, 链 为 正常 返 不 可 约 的 ， 
6 一 14. 证 明 : 不 可 约 链 是 正常 返 的 , 若 存 在 非 负 数列 |z;,iE 玉 |, 正 数 e 及 有 限 个 状态 
j1，… ,jm 使 得 | 


之 piazr Xi €,， i {jjn|, 


2 pazi<%, i€ {jl jn}. 
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第 三 章 ”连续 时 间 的 马尔 可 夫 链 


$3.1 转移 概率 函数 与 密度 矩阵 


在 第 二 章 中 ,我 们 讨论 了 离散 时 间 的 马尔 可 夫 链 ,时 间 离 散 是 指 时 间 参 数 取 非 负 整数 值 .在 
这 一 章 中 ,我 们 要 讨论 连续 时 间 的 马尔 可 夫 链 ,时 间 连 续 是 指 时 间 参 数 取 非 负 实 数值 . 

定义 设 X= 1X,,t 之 0| 为 一 族 只 取 非 负 整 数值 的 随机 变量 . 若 对 任意 的 有 1,t0<<t 之 … 
< 如 +1 及 非 负 整 数 ios iis sik+ls 

PON = Ieril Bio A = a 
SpA = til (1) 

则 称 X = | X, ,z 之 0| 为 连续 时 间 离 散 状 态 的 马尔 可 夫 过 程 ,或 连续 时 间 的 马尔 可 夫 链 . 

这 里 马尔 可 夫 性 的 定义 (1) 与 离散 时 间 的 场合 形式 上 完全 一 致 .因此 在 离散 时 间 场 合 对 马尔 
可 夫 性 所 作 的 讨论 (第 二 章 的 定理 1.1 与 1.2 以 及 将 来 的 事件 允许 涉及 可 列 无 穷 多 个 将 来 时 刻 
等 ) 在 连续 时 间 的 场合 依然 有 效 ,我 们 就 不 再 重复 叙述 了 .关于 状态 空间 的 说 明 ,对 连续 时 间 场 合 
也 同样 适用 .我 们 仍 用 五 记 状 态 空间 .在 今后 的 一 般 讨 论 中 取 五 为 R = 10,1,2,…|. 

我 们 也 将 只 讨论 齐 次 的 马尔 可 夫 链 , 即 假设 对 任意 的 ;ij)E 五 ,转移 概率 


P(X,+ ,=j|X,=i)= p(t), 之 0 
只 与 上 上 有关, 与 无关. 显然 ,四 (0) = 0. 易 见 , 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 也 成 立 ， 
pi(t+s)= 2 palt) psls), 1 ,5 之 0. (2) 
我 们 也 把 转移 概率 写成 矩阵 的 形式 : 
P(ti)= (py(t))i,jeE, zt 之 0， 
从 而 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 有 下 列 简单 的 形式 : 
P(t+s)=P(t)P(;s), ,50. (3) 


现在 转移 概率 是 上 的 函数 ,所 以 P(t) 或 p; (i) 都 称 为 转移 概率 函数 .我 们 知道 ,在 离散 时 间 情 
形 , 全 部 高 阶 的 转移 概率 矩阵 由 一 个 (一 步 ) 转 移 概率 矩阵 完全 决定 ,但 在 连续 时 间 情 形 , 从 科 尔 
莫 戈 罗 夫 - 查 普 曼 方程 推 不 出 类 似 的 结论 . {P(t) ,it 宇 01 不 能 由 一 个 P(1) 或 某 个 P(to)(io>0) 
完全 决定 .然而 设法 找到 一 个 矩阵 ,用 它 即 能 决定 与 刻画 |P(:),: 之 01 ,将 是 今后 讨论 的 一 个 主 
要 课题 . 
连续 时 间 马 尔 可 夫 链 的 有 限 维 分 布 同样 由 初始 分 布 
P(Xo=i)= p,, i€E 
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及 转移 概率 函数 完全 决定 :对 任意 的 n 之 1,0= to<ti<…< 及 io0,i1,… ,in EEE， 
P(X, = io, Xs, 二 2 2 i ) 
= pi pivi, (li 3 to) pi i (ta 一 如 -1)。 (4) 
反 过 来 ,车 一 族 随 机 变量 | X,,t 之 01 的 有 限 维 分 布 由 (4) 给 出 ,其 中 |p;,iE EE| 为 一 概率 分 布 ， 
{P(z) = (ps(t)), ;egst 之 0 为 一 族 满足 条 件 (3) 的 随机 和 矩阵 , 则 可 直接 验证 | X, ,zt 之 01 为 马尔 


可 夫 链 ,| p; ,iEE| 为 其 初始 分 布 , {P(t),t 之 01 为 其 转移 概率 函数 . 

我 们 已 经 知道 ,对 于 马尔 可 夫 链 ,我 们 主要 是 研究 它 的 状态 转移 的 规律 与 性 质 , 即 由 转移 概 
率 所 决定 的 性 质 .在 离散 时 间 情 形 ,我 们 就 把 一 个 随机 年 阵 当 作 一 个 马尔 可 夫 链 .在 连续 时 间 情 
形 , 我 们 也 把 一 个 满足 下 列 三 个 条 件 的 函数 矩阵 {P(1)= (pis(t));,jer,t 之 01: 


1) ps(t)>0, it>0, pi;(0)=6;, i,jEE; (5) 
2) 2ps(t)=1, ti 之 0， i€FE; (6) 
3) py(t+s)= Dpalt)py(s), 1,s>0, i,jEE, (7) 


看 作 一 个 马尔 可 夫 链 , p;(z ) 即 为 它 的 转移 概率 函数 .满足 条 件 (5)、(6) 及 (7) 的 函数 族 | pi;(z)， 
t 之 0,i,jEEl 也 称 为 转移 概率 孙 数 . 
今后 我 们 需要 讨论 更 广泛 的 一 类 函数 族 , 即 把 条 件 (6) 放 宽 为 
2 py) SI, i120, i€E. (8) 
我 们 把 满足 (5) (8) 及 (7) 的 1p;(1),t 之 0,i,jEEil 称 为 广 转 移 概 率 浮 数 .这 时 如 果 把 状态 空间 
EE 扩大 ,再 加 进 一 个 新 的 状态 0, 并 定义 


po(t)=1, po(t)=0, £1: 之 0,i€EE, 
pao(t)=1- pi(t), :>0,i€EE, 
jEE 


对 新 的 状态 空间 EE=EU101 ,不 难 验证 ,| p(t),t 之 0,i,jEEi| 就 是 转移 概率 函数 了 .今后 我 们 
会 解释 为 什么 需要 引进 广 转移 概率 函数 . 
对 连续 时 间 马 尔 可 夫 链 X= |X,,t 之 01 , 任 取 有 >0, 定 义 
Xs(h)= Xn, n>0. 


由 马尔 可 夫 性 (1) 立 即 知道 , |X, (有),n 宇 0| 是 一 个 离散 时 间 的 马尔 可 夫 链 , 称 它 为 以 hh 为 步 长 
的 离散 骨架 ,或 简称 h 骨架 .h 骨架 的 转移 概率 矩阵 即 为 P(P) = (pi(h)),n 步 转移 概率 矩阵 则 
为 P( xi) .离散 时 间 马 尔 可 夫 链 的 许多 性 质 与 结果 ,通过 离散 骨架 必定 在 连续 时 间 马 尔 可 夫 链 
身上 有 所 反映 .这 也 是 我 们 利用 已 知 结果 讨论 连续 时 间 马 尔 可 夫 链 的 一 条 有 效 途径 . 

例 1.1 独立 平稳 增 最 过 程 设 |X,,i 之 0| 为 只 取 整 数值 的 独立 增 量 过 程 .与 离散 时 间 情 形 
完全 同样 地 可 以 证 明 , 独 立 增 量 过 程 是 马尔 可 夫 链 . 若 它 有 平稳 增 量 : 


P(X,.;,— X,=i)= pi(t), 1 志 0,zEZ ， 


则 马尔 可 夫 链 是 齐 次 的 ,其 转移 概率 函数 为 
.100 . 


pi(t)= p;-i(t), t 宇 0. 


与 离散 时 间 情 形 完全 类 似 地 可 以 证 明 , 若 马尔 可 夫 链 的 转移 概率 函数 p; (z) 只 依赖 于 j - i( 也 
称 为 空间 齐 次 的 ), 则 它 是 独立 平稳 增 量 过 程 . 
参数 为 4 的 泊 松 过 程 为 马尔 可 夫 链 ,其 转移 概率 函数 为 


(a2) ee 

之 i， 

pi(t)= re ee 
0， j<i. 





这 转移 模 率 函数 也 称 为 泊 松 转移 概率 函数 . 泊 松 过 程 也 就 是 具有 泊 松 转移 概率 函数 且 初 值 为 堆 
的 马尔 可 夫 链 . 口 

下 面 我 们 总 是 对 一 个 固定 的 连续 时 间 齐 次 马尔 可 夫 链 进行 讨论 ,不 再 重复 指明 . 

定理 1.1 下 列 条 件 等 价 : 

(1) lim py(1)= 6;, i,j€EE; (9) 


ti-0 


(2) 对 住 意 的 e>0 及 i EE,i 宕 0， 


lim P;(| X,+, — X, | 衬 e) =0. (10) 


有 -0 
(这 里 同样 以 P， (A) 记 在 Xo=i 的 条 件 下 事件 A 的 条 件 概率 P(A|Xo= i).) 
证 (1) 二 (2). 不 妨 设 0<e<1, 则 有 >0 时， 


Pp; (| XXX [之 se) = P， (XX,+ 4 天 XX,) 
= = pa PX,+ 天 让 和 =j)= ps (12)(1- ps(h)). 


i (1 一 py(h))=0, 且 上 式 中 的 级 数 关 于 hh 一致 收 合 ,在 上 式 中 令 h->01+ 即 得 (10) 
式 . 
(2) 二 (1). 同 样 设 0<e<1, 在 (10) 式 中 取 zt =0, 则 


1- pi(h)=P,(X,Ai)=P;(|X, - Xol 之 e)—0, h—01. 
对 j 关 i， 
0< pj(h)<1- pi(h)—>0, h—0°,， 


即 (9) 式 成 立 .， 口 
今后 我 们 总 假定 ,转移 概率 函数 满足 连续 性 条 件 (9) , 即 假设 p; (1) 在 1=0 点 连续 .满足 条 
件 (9) 的 转移 概率 画 数 (或 广 转移 概率 函数 ) 称 为 标准 的 .从 定理 1.1 的 证 明 中 可 见 , 条 件 (9) 等 价 
lim pi(t)=1. 


t 一 0 


由 定理 1.1 中 的 (10) 式 可 知 ， 志 续 性 条 件 (9) 相 当 于 要 求 在 将 来 很 得 时 间 内 状态 发 生变 化 的 概率 
也 很 小 .从 实际 应 用 方面 来 看 ,这 样 的 要 求 也 是 自然 的 .所 以 假定 转移 概率 函数 是 标准 的 并 不 是 
严格 的 限制 . 
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定理 1.2 对 一 切 i€E 及 h >0,t 之 0， 
2 1ps(t+h)- ps(t)1<2(1- palh)). (11) 
特别 ,对 一 切 ; ,jE, p(t) 为 [0, 0) 上 的 一 至 连续 函数 . 
证 由 科 尔 莫 苞 罗 夫 一 查 普 曼 方程 
pa(t+h)- p(t)= 2 palh) pss) polt) 
= Dpalh)pslt) (1 pa(h)) p(t), 
从 而 有 
(1- pa(h))ps(t) Spy(t+h)- ps(i)e 2 Palh) pult), 
之 (ps(t+h)- p(t))':< >， 2 Pa(h) pyult) = Span)=1- puln), 


> (pi(t+h) pi(t)) < > (1— pi(h))pi(t)=1-— pii(h). 

这 里 a7 =max(a,0),a =max( 一 a ,0) 分 别 为 实数 a 的 正 部 及 负 部 ,而 la|=a +a ,由 此 即 
得 (11) 式 . 口 

定理 1,2 表明 ,由 于 转移 概率 函数 满足 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 ,在 零点 的 连续 性 保证 了 
它 在 每 一 点 的 连续 性 .事实 上 ,我 们 将 看 到 转移 概率 函数 的 性 状 , 在 很 大 程度 上 由 它 在 零点 附近 
的 性 状 所 决定 ,不 仅仅 对 于 连续 性 是 这 样 . 

定理 1.3 对 任意 的 iEE, 有 p(t)>0. 若 有 to>0 使 p; (to)>0, 则 1z 宇 to 时 ,pi;(t)>0. 

证 ”由 科 尔 莫 戈 罗 夫 一 查 普 曼 方 程 ,x >>0,v>0 时 


pi(ut+wv)= Dpa(u) pal(v)Fpi(u) pilv) 
(这 类 不 等 式 今后 将 经 常 使 用 ) ,从 而 对 任意 的 :>0 
pals)>[pi()| 
但 lim,.w pi(t/n)=1,n 充分 大 时 p;,(t/n)>0, 故 pi(t)>0. 
设 to>0,p;(to)>0, 则 1>>to 时 
pi(t)pi(to) pilt— t0) >0. 日 
事实 上 ,对 任意 的 1,jEE,pi() 在 (0,co) 上 或 恒 为 零 ,或 恒 为 正 .但 这 结论 的 证 明 比 较 元 
长 ,我 们 不 在 这 里 讲述 了 . 
引 理 1.1 设 定义 在 [0,co) 上 的 连续 函数 g(1) 满 足 条 件 : 
g(t1+s)<g(t)+ g(s), t1,s>0 (12) 
及 g(0)=0, 则 


lim £0 = sup St ， 
1>0 1 
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(极限 可 能 是 + co.) 
证 设 0<h<i,t=nh+s,n 为 正 整 数 ,s€E(0,h). 由 (12) 式 


g(t) ng(h) ,gCs) _ gCh)nh , gls) 
tt ~ 1 t h £ Pe 


令 h 一 0, 则 s 一 0, 因 此 


&(1) lim 2(h) 
t LU $ 


从 而 有 
Tim EA sup EC 8(t) lm 有 
40 -0 


由 此 即 得 lims -01 EC 全 存在 且 等 于 supe>08 1. 口 
定理 1.4 对 一 切 iEE, 存 在 极限 


. 1-—pi(t) 1- pi(t) 
< 


证 由 定理 1.3,p;(t)>0,t 之 0, 定 义 g(1)= 一 lnp;(it), 则 g(z) 为 [0,o) 上 连续 隐 数 ， 
g(0)=0, 且 满足 (12) 式 , 故 存在 极限 


a0 - 8 


q; = lim su 


t0 


注意 到 lim,-o*g(i)=0, 我 们 有 


1— pb».. 一 SC) a g(t) 
en 

一 0 07 i 0 t g(t) 
另 一 方面 ,对 任意 i: >0， 


g(t) Ee 
pi(t)=e t 之 e 27 , 


1— pi(t) 1~e 
Ts 
由 此 即 得 (13) 式 . 口 

定理 1.5 对 任意 的 ;和夫 ) ,存在 极限 


证 对 任意 的 e>0, 存 在 6>0, 使 1:€ (0,6) 时 
1- p;(t)<e, 1~ p(t)<e. 


先 取 +E (0,8), 再 取 更 小 的 hE (0,2), 并 设 矶 壹 1<(n+1)h,n 为 正 整 数 .对 1 过 k 志 ,定义 
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pr = Pi( Xi =j, X 天 1 ,0<u<k), 
ri=P;( X= i, Xi,0<v<k). 


(这 里 实际 上 我 们 用 到 了 链 的 h 骨架 . )& 之 2 时 


Pi 之 Pi( Xu =] ,XDh =i, Xj,0<v<k— 1) 之 ri_1pi(h). 


如 定义 ro=1, 则 (15) 式 对 有 =1 也 成 立 . 用 首次 进入 法 ， 


力 i (1) 之 > pipi(t ~ kh)>(1-e) >) p 
( 因 + 一 筷 E(0,6), 所 以 pj(i 一 妇 )>1--e). 另 一 方面 ， 


pi(t)< Pualt)=1- palt)<e, 
因此 有 之 人， Pr 所- 在 1<h 过 n 时 , 仍 由 首次 进入 法 有 
1- e< pilkh)= > Ppii((kR- vOh)tr, 


< 过 At Pe Et re 








] 一 一 证 5 


由 (15),(16) 及 (17) 式 ， 


pi(i) 宇 23 prpi(t — kh)> > re-1pi(h)pi(t— kh) 
k=1 k=1 





之 7 py(h)(1- e)=n(1- 3e)p;(h), 


py(h) p(t) 1 二 好 人) 1 
h ~ nh 1-3e ~ +t-hl-3e’ 

















令 h 一 01 得 
mt 1 1 
a h t 1 一 3e 
青 令 1 一 01 | 
一 一 pi(h 人 
hm Pt) < jim Pi )_ 1 , 
rr 0 1—3e 


最 后 令 s 一 0 即 得 (14) 式 . 口 
由 于 


令 :一 0 -我们 得 到 
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(15) 


(16) 


(17) 


J 天 1 
定义 令 dii™ 一 qi;, 和 矩阵 @ = (qi) 称 为 马尔 可 夫 链 的 密度 矩阵 或 无 穷 小 矩阵 . 若 对 一 切 
i€E, 


2 qi=q<%, (19) 
ji 


则 称 密度 矩阵 或 马尔 可 夫 链 是 保守 的 . 
易 见 ,有 限 马 尔 可 夫 链 总 是 保守 的 ,因为 在 等 式 


pe Dat) 
中 取 极 限 :->07 ,直接 由 定理 1.5 得 到 (19) 式 . 
我 们 指出 ,定理 1.4 及 定理 1.5 以 及 (18) 式 对 标准 广 转移 概率 函数 也 是 成 立 的 .因为 只 要 把 
状态 空间 扩大 ,就 可 得 到 标准 转移 概率 函数 ,然后 就 可 应 用 定理 1.4 及 定理 1.5 了. 
从 数学 上 看 ,qi 只 是 转移 概率 函数 p; (zi) 在 零点 的 导数 (所 以 ,又 称 8 为 {P(1),i 宇 0| 的 无 
穷 小 矩阵 ) ,然而 它们 有 着 明确 的 概率 意义 . 先 阐述 g; 的 概率 意义 . 若 g; =0, 由 (13) 式 ,这 等 价 于 


对 一 切 i 之 0,pi(t)=1. 这 意味 着 ,系统 一 旦 进入 状态 i, 就 永远 不 再 离开 了 .很 自然 地 ,我 们 称 
这 样 的 状态 为 吸收 状态 .对 一 般 的 状态 i 及 任意 固定 的 :>0,n 一 时 ,p(t/n) 一 1, 因 此 


2"inps (去)=-2"[1-pi( 去 )]~- git ， 


次 
P;( Xu = i,1<ES2") = [zi (去 )] >e- at. 

由 连续 性 条 件 ,我 们 可 以 期 待 x 一 oo 时 应 有 
Pi(Xun"=i,1SkS2") P(X,=i,sE[0,]). 


(这 不 能 算 作 严格 的 数学 证 明 ,只 是 直观 的 解释 .但 这 并 不 妨碍 我 们 理解 密度 矩阵 的 概率 意义 . ) 
因此 ,我 们 有 
P(X,=i,s€E[0,t])=e “f. 

车 qi = c , 则 过 程 不 可 能 在 状态 i 上 停留 一 段 时 间 , 不 管 这 段 时 间 是 多 么 地 短 ,或 者 说 ,一 进入 
状态 i 就 必须 立即 离开 它 . 所 以 把 这 样 的 状态 称 为 瞬时 状态 . 从 理论 上 讲 , 这 种 情况 是 完全 可 能 
发 生 的 ,甚至 可 以 人 为 地 构造 出 这 样 一 个 马尔 可 夫 链 ,其 中 每 一 个 状态 都 是 瞬时 状态 .然而 从 实 
际 应 用 的 角度 来 看 ,这 种 状态 是 难以 理解 的 .也 就 是 说 ,在 实际 应 用 中 遇 到 的 马尔 可 夫 链 一 般 是 
不 会 发 生 这 种 情况 的 .所 以 我 们 今后 不 讨论 这 种 状态 , 即 假设 对 一 切 iE EE,g;<o%. 现 在 令 


r=infl: >0:X,¥ Xol. 
在 Xo=i 的 条 件 下 ,r 就 是 在 状态 i 停留 的 时 间 . 由 前 面 的 讨论 ,我 们 有 


P;(r>1)=P(X,=i,sE[0,1])=e «. 
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在 0<g;<%m 时 ,在 状态 i 上 的 停留 时 间 服 从 参数 为 gq; 的 指数 分 布 ,平均 停留 时 间 为 1/9i .停留 
时 间 服 从 指数 分 布 显 然 是 由 马尔 可 夫 性 所 决定 的 .我 们 知道 ,具有 无 后 效 性 的 唯一 的 连续 型 分 布 
是 指数 分 布 . qi; 的 概率 意义 也 提供 了 计算 qi 的 方法 .我 们 只 要 计算 当 系统 处 于 状态 i 时 ,在 短 时 
间 z 之 后 离开 状态 i 的 概率 的 主要 线性 部 分 : 


1— pi(t)= gt + o(t), 1 一 0. 


我 们 再 解释 g; ,i 兴 7) 的 概率 意义 . 设 ; 不 是 吸收 状态 . 当 系 统 处 于 状态 工时 ,在 短 时 间 z 之 

后 离开 状态 i 的 条 件 下 进入 状态 j 的 条 件 概率 为 
pi (zt) YY ,0 
1—- pi(t) 9 

因此 ,g; /9; 可 解释 为 ,在 系统 要 离开 原来 的 状态 i 的 条 件 下 ,进入 状态 j 的 条 件 概 率 .从 这 个 意 
义 出 发 ,自然 应 要 求 > ,43/9;=1, 这 就 是 保守 性 的 要 求 .因此 可 以 预料 ,在 实际 应 用 中 得 到 的 
马尔 可 夫 链 都 是 保守 的 .在 本 课程 中 也 将 只 讨论 保守 马尔 可 夫 链 .车 i 是 吸收 状态 : g; = 0, 由 
(19) ,对 一 切 /天 :oj =0. 

定义 ”对 保守 马尔 可 夫 链 , 称 随 机 和 矩阵 


(1-50) 一 ， 车 g;>0， 
R= (r;), 7 一 gi 


05， 若 9 =0 


为 跳跃 阵 . 以 R 为 转移 概率 和 矩阵 的 离散 时 间 马 尔 可 夫 链 称 为 原来 的 连续 时 间 马 尔 可 夫 链 的 跳 
跃 链 . 

跳跃 链 刻 画 了 原来 的 链 的 状态 转移 的 状况 ,是 研究 连续 时 间 马 尔 可 夫 链 的 一 个 重要 手段 .为 
了 计算 oj ,我 们 也 只 要 计算 从 状态 i 出 发 经 过 短 时 间 z 到 达 状 态 j 的 概率 的 主要 线性 部 分 : 


pi(t)= git + o(t), 1-—>0. 


例 1.2 生 灭 过 程 ” 一 个 细菌 繁殖 的 模型 如 下 .一 个 细菌 在 时 间 区 间 (z,z+At) 中 分 裂 为 两 
个 细菌 的 概率 为 AA:t + o(Ar), 死 亡 的 概率 为 JAt + ofAr ), 既 不 分 裂 也 不 死亡 的 概率 为 工 - 
(4+ jy)At+o(Az), 它 们 都 与 这 细菌 在 时 刻 t 之 前 已 存活 多 久 没 有 关系 .各 个 细菌 的 变化 状况 
假定 是 相互 独立 的 .以 X, 表示 时 刻 t 时 细菌 的 总 数 , 则 |X,,t 宇 0 是 马尔 可 夫 链 .我 们 来 计算 它 
的 密度 矩阵 .显然 ,0 是 吸收 状态 ,细菌 都 死亡 了 ,过程 也 就 停止 了 .所 以 poo(i) 三 1, go0; =0,i 之 
0. 设 X,=i 关 0. 由 独立 性 的 假设 可 知 ,在 (t,t + Azt) 中 有 两 个 或 两 个 以 上 的 细菌 发 生变 化 (分 裂 
或 死亡 ) 的 概率 是 o(Ai), 因 为 一 个 细菌 发 生变 化 的 概率 是 At 的 一 阶 无 穷 小 ,两 个 或 两 上 以 上 
的 一 阶 无 穷 小 相 乘 至 少 是 两 阶 无 穷 小 .我 们 只 要 考虑 有 一 个 细菌 发 生变 化 而 其 它 细 菌 不 变 ,或 全 
部 细菌 都 不 变化 的 情形 : | 

pi(At)= o(Az), 上 一 川 之 2， 

pi,i+1(At)= iAAzt + o(Ai), 

Pi.i_-1(At)= ipAt + o(At), 

pi(At)=[1— (A+u)Att+o(At)]' =1- i(A+y)At +o(At). 
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这 里 只 要 注意 ,增加 (减少 ) 一 个 细菌 可 以 是 ;个 细菌 中 的 任意 一 个 分 裂 ( 死 亡 ) ,因而 Az 的 系数 
为 有 A (in). 现在 即 可 写 出 密度 矩阵 为 


0 0 0 0 0 
x (A+t+y) A 0 0 
Q=10 217 -2(1+7) 24 0 …|， 
0 0 < 0 | 
跳跃 阵 为 
1 0 0 0 

_lag 0 pp 0 … 和 7 

0 WB SD Rt Tt 


一 般 地 , 若 一 个 马尔 可 夫 链 的 密度 矩阵 有 下 列 形式 : 


和 有 0 0 
AL 一 (A++Ai) A1 0 

Q=| 0 2 — (A2+ p2) 2 0 ls 
0 0 AL3 (A3+p3) As 


其 中 % 之 0,i 之 0; jy 之 0,i 之 1;4;+ p>0,i 宇 1, 则 称 它 为 生 灭 过 程 ,这 密度 矩阵 也 称 为 生 灭 算 
阵 .4; 称 为 出 生 率 ,ji 称 为 死亡 率 . 前 面 所 述 细菌 繁殖 的 模型 称 为 线性 生 灭 过 程 ,因为 这 时 出 生 
率 Mi= 议 与 死亡 率 j;= iy 均 为 i 的 线性 函数 . 生 灭 过 程 的 状态 转移 只 能 是 从 ; 到 i+1, 看 作为 
出 生 一 个 ,或 从 i 到 i 一 1, 看 作为 死亡 一 个 .这 就 是 生 灭 过 程 的 名 称 的 由 来 .这 样 的 状态 转移 与 离 
散 时 间 情 形 的 随机 游 动 是 相似 的 .实际 上 , 生 灭 过 程 的 跳跃 链 就 是 随机 游 动 , 跳 路 阵 为 


ro po 0 0 
R= qr 0 pp 0 


其 中 p; = 和 页 "i 当 Xho=0 时 ro=1,po=0;XA0>0 时 ro=0,po=1. 所 以 生 灭 
过 程 与 离散 时 间 的 随机 游 动 在 性 质 上 有 许多 相似 之 处 
如 果 一 个 生 灭 过 程 满足 条 件 py; 一 0,i 之 1, 即 只 出 生 而 无 死亡 , 则 称 它 为 纯 生 过 程 . 泊 松 过 程 
就 是 出 生 率 为 常数 的 纯 生 过 程 . 类似 地 ,车 1; =0,i 疡 0, 即 只 死亡 而 无 出 生 , 则 称 它 为 纯 灭 过 程 . 
生 灭 过 程 是 密度 矩阵 的 形式 最 简单 的 一 类 马尔 可 夫 链 ,也 是 在 实际 应 用 中 大 量 遇 到 的 一 类 
随机 过 程 ,因此 无 论 在 理论 上 还 是 在 应 用 上 , 它 都 显得 十 分 重要 .此 外 ,正如 离散 时 间 的 随机 游 动 
的 状态 空间 可 以 是 =1…, 一 1,0,1,…|1, 生 灭 过 程 也 可 以 缉 为 状态 空间 ,这 时 称 之 为 双边 生 灭 
,107 ， 


过 程 . [|] 

在 实际 应 用 中 ,如 例 1.2 中 所 示 的 那样 ,一 般 是 根据 实际 情况 或 理论 上 的 假设 来 断定 ,一 个 
系统 的 状态 的 变化 是 一 个 连续 时 间 的 马尔 可 夫 链 .然而 要 直接 写 出 转移 概率 函数 一 般 是 难以 做 
到 的 .这 与 离散 时 间 的 马尔 可 夫 链 在 实际 应 用 中 的 情况 很 不 相同 .在 离散 时 间 情 形 ,一 般 都 能 写 
出 转移 概率 矩阵 ,然后 在 此 基础 上 作 进 一 步 的 讨论 .但 是 在 连续 时 间 情 形 ,根据 对 具体 情况 的 分 
析 与 假定 ,往往 可 以 写 出 密度 矩阵 (在 很 大 程度 上 可 以 说 ,连续 时 间 情 形 中 的 密度 矩阵 与 离散 时 
间 情 形 中 的 转移 概率 矩阵 地 位 相当 ). 因 此 怎样 由 密度 矩阵 确定 转移 概率 函数 ,就 成 为 一 个 具有 
重大 意义 的 问题 . 它 不 仅 在 理论 上 占有 头等 重要 的 位 置 ,而 且 也 是 实际 应 用 所 迫切 需要 解决 的 问 
题 .这 就 是 马尔 可 夫 链 理论 中 著名 的 Q 过 程 问题 . 

定义 一 个 矩阵 CQ = (g; ) 称 为 一 个 Q 矩阵 ,车 

qj 之 0， ij, -< gi<0, 
> i,jEE. 
ji 
设 给 定 一 个 Q 矩阵 . 若 存 在 一 个 转移 概率 函数 iP(:),t 宇 01 以 8 为 密度 矩阵 , 则 称 1P(z),t 宇 0| 
为 一 个 Q 过 程 , 或 Q 过 程 问题 的 一 个 解 . 

实际 上 ,一 般 还 把 对 Q 过 程 的 要 求 放 宽 为 广义 转移 概率 函数 (密度 矩阵 同样 地 定义 ) ,因为 
从 理论 研究 的 角度 来 看 ,讨论 广义 转移 概率 函数 更 自然 .所 谓 Q 过 程 问题 是 指 :(1) 解 是 否 存在 
(存在 性 问题 );(2) 解 如 果 存 在 是 否 唯一 (唯一 性 问题 );(3) 如 果 解 不 唯一 , 找 出 全 部 解 (构造 问 
题 ) .我国 的 数学 家 在 Q 过 程 问题 的 研究 中 做 出 了 突出 的 贡献 .详细 地 讨论 Q 过 程 问 题 必 须 进 
入 专门 的 研究 领域 . 


习 题 
1-1. 证 明 : 对 任意 的 h>0 及 iEE, 之) 1ps(t1+h)-ps(t)| 是 zt 的 单调 下 降 函 数 . 


1-2. 设 马 尔 可 夫 链 是 有 限 状 态 的 .证 明 : 短 阵 P(i) 的 行列 式 detP(1)>0,t 宇 0. 
1-3. 设 (pi()) 为 广 转移 概率 函数 .定义 


di(t)=1- 2 p32), i€E,t 之 0. 


证 明 :(1) d;(i) 为 单调 增加 削 数 ; 
(2) 车 存在 to>0 使 对 一 切 i EE,di(to)=0, 则 对 一 切 :>0 及 iEE,d;(:)=0. 
1-4. 证 明 : 对 一 切 h>0 及 i,jEE 


[pi(t+h)-— p(t)|< qh. 


1-5. 设 出 租 汽车 按 参 数 为 A 的 治 松 过 程 到 达 一 出 租 汽车 站 候 客 ,顾客 按 参 数 为 j/ 的 泊 松 
过 程 来 到 车 站 候车 ,这 两 个 泊 松 过 程 相互 独立 .假设 一 辆 车 载 一 位 顾客 ,顾客 到 站 时 有 空 车 即 乘 
车 离 去 ,无 空 车 也 离 站 而 去 不 等 车 .以 X, 记 时 刻 t 车 站 上 的 出 租 汽车 数 , 则 |X,,1 之 0| 是 马尔 可 
夫 链 , 写 出 它 的 密度 答 阵 . 
1 一 6. 设 顾 客 按 参 数 为 4 的 泊 松 过 程 来 到 一 理发 店 , 且 设 在 初始 时 刻 1 =0 已 有 一 位 顾客 . 
每 个 顾客 相互 独立 地 以 概率 p 为 男性 ,以 概率 1 一 记 为 女性 . 令 
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|0， 车 到 时 刻 上 为止 最 后 来 到 的 顾客 是 男性 ， ,0 
: |1， 车 到 时 刻 上 为 止 最 后 来 到 的 顾客 是 女性 ， ou 


则 |X,,t 之 01 是 马尔 可 夫 链 , 写 出 它 的 密度 矩阵 . 

1-7. 设 某 生物 群体 中 一 个 个 体 的 寿命 服从 参数 为 4 的 指数 分 布 ,一 个 个 体 死亡 时 有 上 上 个 
后 代 接 续 的 概率 为 gi ,k= 二 0,1,… ,各 个 个 体 的 后 代 状 况 相 互 独立 ,以 XX, 记 时 刻 上 群体 中 个 体 的 
总 数 , 则 |X, ,z 志 0 是 马尔 可 夫 链 , 写 出 它 的 密度 矩阵 . 

1-8. 设 @ 为 有 限 马 尔 可 夫 链 的 密度 和 矩阵 , 则 

(1) 0 为 @ 的 特征 值 ; 

(2) @ 的 非 零 特 征 值 有 负 实 部 . 


$3.2 科 尔 莫 戈 罗 夫 方程 


在 上 一 节 中 ,我 们 引进 了 密度 矩阵 ,实际 上 是 讨论 了 转移 概率 函数 在 :=0 的 可 微 性 问题 .由 
于 我 们 假设 gq;< co ,iEE ,定理 1.4 及 1.5 表示 p;(t) 在 1=0 点 有 ( 右 ) 导 数 .实际 上 ,这 也 保证 
了 pi;(z) 在 每 一 点 可 微 .但 为 了 使 问题 简化 ,我 们 在 适当 条 件 下 ,证 明 转 移 概 率 范 数 可 微 , 且 得 到 
它们 满足 的 微分 方程 . 

引 理 2.1 设 f(z) 为 (a,5) 上 的 连续 函数 , 且 f(z) 在 (a ,65) 中 有 连续 的 右 导 数 , 则 f(z ) 在 
(a,b) 上 可 导 . 

证 设 f(z) 在 (a,65) 中 有 连续 的 右 导 数 f(x). 任 取 xoE(a,6b), 令 


s(z)=| f+(y)dy, rE(a,b), 


则 g(z) 在 (ec,5) 上 连续 可 导 , 且 g (x)= f,; (x). 
F(z)=z)-g(z) 在 (ca,5) 上 连续 ,有 恒 为 零 的 右 导数 ,我 们 只 要 证 明 F(x) 在 (a,b) 上 
为 常数 ,从 而 下 (xz)=0,f(z) 在 (a,6) 上 可 导 , 且 f(x)=g (xz)= f(x). 下 面 就 假设 f(x) 在 
(a,b) 上 有 便 为 零 的 右 导 数 , 我 们 要 证 f(z ) 在 (a ,5) 上 为 常数 . 
任 取 zoE (a,5b) 及 e>0, 邻 


c=suplz: zo<zxz<b, |f(r)- f(zo)|<e(xr -zro). 


由 于 im 人 0 -0, 必 有 >0, 使 zxE(zo,zo+9) 时 | f(z)- f(xro)|<e(r- zo), 


因此 zxo<c 志 5. 车 c<65, 由 f(z) 的 连续 性 及 TE(zro,c) 时 |f(z)- FGzo)l<e(z-zo) 可 知 
|f(c)- f(zxo)|e(c — xo). 


仍 由 lim 帮 二 及 c =-0, 存 在 这 >0, 使 =E(cc+8) 时 


Cc 
[f(z)-~-f(c)|l<e(r -ce), 
从 而 -Elc,c+ 6 ) 时 
[f(x)- f(xro) lf (rz) -fle)|+|f(c)— f(xo)| 
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<e(r— xo). 


这 与 c 的 定义 相 了 矛盾 ,因此 c=2. 这 表明 ,z>zo 时 总 有 |F(z)- rzo)l<s(z-zro). 但 se 可 任 
意 地 小 ,因此 zx>xzo 时 f(x)= f(xo). 这 即 说 明 f(z) 在 (a,65) 上 为 常数 ， 口 
定理 2.1 设 链 为 保守 的 , 则 对 一 切 i ,jEE 及 :之 0 成 立 


pa(t)= > (1) 
证 由 科 尔 莫 戈 罗 夫 一 查 普 曼 方程 ,h >>0 时 


B+) pls) _ polh) -1 Pt BR tte) 二 


由 上 一 章 的 引 理 6.1， 


(3) 


h—0* Lad} ki 


男 一 方面 ;对 N>i 


im D2 py (< En | >3 0 二 > 





he=0 h—*0 ki,k< 
- (hh) i(h) a! 
= Hm | > 全 pilt ee = _ Pach ] 
太一 0 Rik<N Ki.k<N 
二 > gigpy (t) + qi— > dik， 
kk<N kk<N 


令 Noco ,由 保守 性 得 


画 忆 的 和 pu(9s< 2 qapst). (4) 
由 (3) 及 (4) 得 

0 lim Di Ph p(t) = 2 qunpn lt). 
再 由 (2) 得 





h 
i pi(t+ 2 py(t) _ = Saab) 


h0" 


仍 由 保守 性 知 ,上 式 右边 的 级 数 关于 上 一 致 收敛 ,因此 是 + 的 连续 函数 , 故 由 引 理 2.1 得 (1)， 口 


定理 2.2 设 链 为 保守 的 , 且 9g=sup;qi<oo( 满 足 这 条 件 的 密度 矩阵 称 为 有 界 的 ), 则 对 一 
切 i,jEE 及 1 之 0 成 立 | 


pilt)= 2 pa (Fos (5) 


证 由 于 链 是 保守 的 (实际 上 密度 矩阵 有 界 的 链 必定 是 保守 的 ,我 们 不 在 这 里 讨论 这 一 点 )， 
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因此 由 定理 2.1, 转 移 概率 函数 的 导数 存在 . 设 hh>0,k 关 j, 则 


0 5 eA - = 2 RS 


[a 


在 等 式 


Pt pa 1) , 5) pa(s) Pts 
2 


中 令 h 一 07 ,注意 到 上 式 中 的 级 数 关 于 hh 一 致 收敛 , 即 得 
Pi(t)= Pi(t)g;+ 2 bal tay 口 


方程 (1) 及 (5) 称 为 科 尔 莫 葬 罗 夫 方程 ， 其 中 (1) 称 为 向 后 后 方程 ,(5) 称 为 向 前 方程 . 形式 上 对 
科 尔 莫 戈 罗 夫 - 查 普 曼 方程 


pi(t+s)= 2 pi(t) pls) 


求 导 就 得 到 科 尔 莫 戈 罗 夫 方程 .对 后 面 的 参数 ; 在 零点 求 导 , 即 得 向 后 方程 .对 前 面 的 参数 * 在 
零点 求 导 , 即 得 向 前 方程 .这 也 就 是 这 些 名称 的 由 来 . 科 尔 莫 戈 罗 夫 方程 的 矩阵 形式 也 是 十 分 简 
洁 的 : 


P (ti)=Q@P() (向 后 方程 )， 
P(t)=P(i)0Q (向 前 方程 ). 


科 尔 莫 戈 罗 夫 方程 提供 了 由 密度 矩阵 求 转移 概率 函数 的 一 条 途径 ; 解 微分 方程 组 .但 这 在 理 
论 上 也 产生 一 系列 的 问题 , 那 就 是 科 尔 莫 戈 罗 夫 方程 解 的 存在 性 及 唯一 性 问题 ,以 及 在 解 不 唯一 
的 情况 下 如 何 找 出 全 部 解 的 问题 .从 Q 过 程 问题 的 角度 看 也 就 是 满足 科 尔 莫 匡 罗 夫 方程 的 Q 
过 程 的 存在 性 唯一 性 及 构造 问题 .众所周知 ,要 得 到 微分 方程 解 的 明显 表达 式 ,一 般 来 说 是 极为 
困难 的 .然而 ,尽管 难以 求 得 科 尔 莫 戈 罗 夫 方程 解 的 表达 式 ,我 们 仍 可 利用 科 尔 莫 戈 罗 夫 方程 去 
讨论 转移 概率 函数 的 性 质 , 特 别 可 以 利用 它 去 判明 在 什么 条 件 下 转移 概率 函数 为 它 的 密度 矩阵 
唯一 决定 ,进而 只 要 讨论 密度 矩阵 的 性 质 ,就 能 掌握 转移 概率 函数 的 性 质 .在 理论 上 讨论 向 后 方 
程 比较 方便 .讨论 向 前 方程 比较 困难 .比较 一 下 定理 2.1 及 定理 2.2 即 可 看 到 这 一 点 .向 后 方程 
成 立 的 条 件 比 较 弱 ,只 要 链 是 保守 的 就 行 .我 们 早已 指出 ,在 实际 应 用 中 遇 到 的 马尔 可 夫 链 理应 
是 保守 的 . (事实 上 ,保守 性 也 是 向 后 方程 成 立 的 必要 条 件 , 但 我 们 不 去 作 深 入 讨论 了 . ) 然 而 我 们 
给 出 的 向 前 方程 成 立 的 条 件 要 强 得 多 . 但 是 在 求解 方程 时 ， 向 前 方程 更 为 适用 ,因而 它 同 样 是 十 
分 重要 的 . 

例 2.1 有 限 马 尔 可 夫 链 ”对 有 限 马尔 可 夫 链 ,直接 在 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 中 求 导 ， 
就 得 到 科 尔 莫 戈 罗 夫 向 前 与 向 后 方程 ; 


P' (1)=P(t)Q = QP(i), 1 二 0， 
初始 条 件 为 P(0) = 工 .这 常 系数 线性 方程 组 的 解 是 
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所 以 对 有 限 马 尔 可 夫 链 ,其 转移 概率 函数 为 它 的 密度 矩阵 唯一 决定 . 科 尔 莫 戈 罗 夫 方程 的 作用 在 
这 里 是 显而易见 的 .显然 ,在 状态 空间 为 无 穷 时 ,问题 将 要 复杂 与 困难 得 多 . 口 
例 2.2 设 密度 和 矩阵 为 








2 二 二 
我 们 来 求 转 移 概率 函数 jP(:) ,上 之 0}. 为 了 便于 用 指数 级 数 计算 , 先 要 将 Q 对 角 化 . Q 的 特征 方 
程 为 :det(@ -Ar)=A(A+4)( +5)=0, 特 征 值 为 :0, -4, -5, 相 应 的 特征 向 量 可 取 为 :(1,1， 


1),( 一 3,5,1),(1, 一 4,1). 事 实 上 ,0 总 是 有 限 密 度 和 矩阵 的 特征 值 ， 本 刁 的 物 企 由 是 且 下 为 (1 1, 
1)( 见 习题 1 -8). 因 此 0 = MJM- 1, 其 中 

















1 -3 1 0 0 0 9 4 7 
M=|1 5 -4|, J=lo -4 01 M-1= 方 -5 0 5 
1 1 1 0 0 -5 -4 -4 8 
所 以 1 宇 0 时 ， 
1 0 0 
Pli)=er=M >) OY M '=MI0 et 0 Mr-i 
i 0 0 e 5 








9+1S$e “~—4e 5 4-4e 5 7-15e s+8e 5 
=20 9—25e “+l6e 5: 4+16e 5 7+25e 4 一 32e-5|. 
9 一 Se 4:—4e 5 4—4e 5 7+Se 45+8e -3 
众所周知 ,把 微分 方程 写成 积分 方程 的 形式 讨论 起 来 更 为 方便 .下 面 我 们 就 给 出 科 尔 葛 戈 罗 
夫 方 程 的 积分 形式 . 
向 后 方程 的 积分 方程 形式 为 :对 一 切 i,jEE 及 1 衬 0， 


口 








记 (= 25ew+ De gapyls)ds. (6) 
实际 上 ,由 向 后 方程 (1) 
py(t)— Oe "= | d[ pi (s)e at 5] 
= | e ps(s)dst+ | ge "pals)ds 
三 | e (gips(s)+ pus))ds 和 上 qie “(pi(s)ds 
2 | e ai gapy(s)ds, 


即 得 (6). 由 于 ,qapw(s) 关 于 * 一 致 收敛 ,为 * 的 连续 函数 ,对 (6) 式 求 导 即 得 向 后 方 
程 (1). 
Eh 


向 前 方程 (5) 的 积分 方程 形式 为 :对 一 切 ijEE 及 0 
pi(t)= Oe 岁 +. >， | pa(s)que 4 ds. (7) 
ki "0 
类 似 地 ,由 向 前 方程 (5)， 
Pi(t)— Oe “= | d[ pi (s)e™ «i(* 9] 
. 
二 | pi(s)e 90 9)ds 十 [ pi(s)ge -ds 
0 0 : 
加 | (ps(s)gs+ ps(s)qy)e “ds — | pi(s)qje uds 
字 > pi(s)gye “ds, 
即 得 (7) 式 .如 果 和 ,pi(s) gy 为 连续 函数 ,对 (7) 式 求 导 即 得 向 前 方程 (5). 
将 科 尔 英 戈 罗 夫 方程 写成 积分 形式 (6) 及 (7) 是 有 概率 意义 的 . 先 给 出 (6) 式 (也 称 为 向 后 方 
程 ) 的 直观 解释 .我 们 将 从 状态 i 出 发 经 过 时 间 z 之 后 到 达 状 态 ) 这 一 事件 做 如 下 的 分 解 :首先 考 
虑 在 [0,1] 内 始终 没有 离开 状态 i 的 情况 ,这 时 经 过 时 间 上 由 i 到 的 概率 就 是 je “*(e “是 在 
状态 i 上 停留 时 间 超 过 z 的 概率 ) .其 次 ,考虑 在 状态 i 上 停留 的 时 间 z 小 于 1 的 情况 . rEG (一 3， 


i 一 s+ds) 的 概率 为 ge 063)ds ,在 时 刻 r 由 状态 i 跳 至 状态 (关门 的 概率 为 gx /gq; ,然后 由 状 
态 & 经 过 时 间 s 到 达 状 态 ; 的 概率 为 p(s),rt 的 取 值 范围 是 (0,z) ,因此 全 部 概率 为 


i 
Ne 一 一 5 gi 
S| ge il! )2p, (s)ds. 
kz¥i “0 gi 


这 就 是 (6) 式 右边 的 第 二 项 (g; =0 时 i 为 吸收 状态 ,(6) 式 即 为 pj(z)= 6; ,第 二 项 为 0). 

对 (7) 式 (也 称 为 向 前 方程 ) 可 作 类 似 的 解释 ,但 是 代替 上 面 考虑 的 在 状态 i 上 停留 的 时 间 ， 
我 们 考虑 在 时 刻 t 之 前 最 后 一 次 发 生 状 态 改变 的 时 刻 , 然 后 作 下 面 的 分 解 :(7) 式 右边 的 第 一 项 
同样 是 在 (0,z) 中 没有 发 生 状 态 转移 情况 下 ,经 过 时 间 上 由 i 到 j 的 概率 .现在 考虑 在 时 刻 ; 到 达 
j 之 前 是 由 状态 k( 关 j) 跳 到 j 的 情况 . 记 um 为 时 刻 上 之 前 最 后 人 状态 的 时 刻 , 然 后 在 状态 & 上 
停留 的 时 间 为 mx .在 初始 状态 为 i 的 条 件 下 ,oi 的 分 布 函 数 记 为 Gi (u). rt 服从 参数 为 gq, 的 指 


数 分 布 , 且 与 o 独立 .因此 ， 由 卷 积 公式 可 知 , ob + re 有 分 布 密度 | gre tT dG (u). 事实 
上 ,车 计 算 p(t) ,这 时 蕊 之 1 一 G4 之 0, 从 而 pa(2)= | en “dGi(w). 换 旬 话 说 ,os+ zh 的 
分 布 密度 就 是 pa(s) ge ,os + rE (5,s + ds) 的 概率 为 pi(s)geds ,接着 由 状态 & 跳 到 状态 j 的 要 


率 为 gi /gi ,然后 在 状态 } 上 停留 时 间 超 过 上 - * 的 概率 为 es%4 9,os+m 的 取 值 范围 为 (0， 
t). 因 此 在 (0,i) 中 发 生 状态 转移 的 情况 下 ,经 过 时 间 上 由 i 到 j 的 全 部 概率 为 


dy alr-s 
S| 和 (gw We se Vgs. 
kj) “0 dx 


这 就 是 (7) 式 右边 的 第 二 项 .必须 指出 ,上 面具 是 直观 地 解释 了 科 尔 莫 戈 罗 夫 方程 的 积分 形式 的 
， 113 : 


概率 意义 ,不 能 作为 严格 的 数学 证 明 . 要 使 这 些 解释 通 得 过 ,必须 有 一 定 的 条 件 , 这 也 就 是 使 科 尔 
莫 戈 罗 夫 方程 成 立 的 条 件 . 

拉 普 拉 斯 (Laplace) 变 换 是 讨论 微分 方程 或 积分 方程 的 一 个 有 力 工具 , 它 将 这 些 方程 转化 成 
代数 方程 ,以 便于 用 代数 方法 作 处 理 , 所 以 我 们 也 要 用 到 它 . 为 此 首先 叙述 一 些 必需 的 有 关 拉 普 
拉 斯 变换 的 基本 事实 . 

定义 ” 设 Fi) 为 定义 在 [0,co) 上 的 实 函 数 . 若 对 任意 的 4 >0 ,积分 


Re 人 enf(t)dt 


存在 , 则 称 $8(X4),A>0 为 f(1) 的 拉 普 拉 斯 变换 .显然 ,[0,o) 上 的 有 界 函 数 总 有 拉 普 拉 斯 变换 . 
易 见 ,常数 f(t) 三 c 的 拉 普 拉 斯 变换 为 c/4 ;指数 函数 F(t)=e “,q>>0 的 拉 普 拉 斯 变换 为 1 
(4+9q). 下 列 引 理解 决 了 拉 普 拉 斯 变换 的 唯一 性 问题 . 

引 理 2.2 设 [0,co) 上 的 连续 函数 f(1) 有 拉 普 拉 斯 变换 $(X) 二 0,4>0, 则 f(1) 三 0,i 之 0 


证 先 设 f(1) 在 [0,co) 上 可 积 : 下 1f(2) dz<o0. 作 变换 x =e ', 则 g(xz)= 了 (Inz)/z 
为 (0,1] 上 的 连续 函数 , 旦 | 1g(z)1dz= |，17(z)1dt< .由 假设 条 件 ,对 一 切 之 1， 
| Xx"g(x)dr= e "f(t)dt=0, 
0 0 
从 而 对 一 切 多 项 式 h(x) 
『 Ar)g(z)dz=A(0) | g(x)dx. (8) 
0 0 


由 于 [0,1] 上 的 连续 函数 可 用 多 项 式 一 致 逼近 ,因此 (8) 式 对 [0,1] 上 的 任意 连续 函数 h(xz) 也 成 
立 . 下 证 g(z) 在 (0,1] 上 恒 为 零 .我 们 可 用 反 证 法 . 设 zoE(0,1] 使 g(zo) 天 0, 不 妨 设 g(xo)> 
0. 由 g(z) 的 连续 性 ,存在 S>0, 使 rE(zo-8,zo+3) 时 g(z)>0, 且 zo-8>0. 取 [0,1j 上 的 
连续 函数 A(z) ,使 得 (xz)>0,zE(zo-6,zo+9), 而 hz)=0,z 人 (xzo-6,zo+9), 特 别 


(0)=0. 由 (8) 式 ,| Kz)glz)dz=0, 但 | h(x)g(r)dz= 人 ,xcz)g(z)dz 应 该 大 于 
零 ,得 出 矛盾 .所 以 ,g(x)=0,xE(0,1], 从 而 1(1)=0,1E[0,%). 

现在 去 撞 条 件 | |/(:)1dt< om . 任 取 8>0, 令 广 ()=e ay(2), 则 由 于 了 的 拉 普 拉 斯 变换 
存在 ,| 17i(e)1dt< om, 且 记 (4) 的 拉 普 拉 斯 变换 为 %(A+ 9) = 0,》 >0. 由 已 证 结果 ， 
广 (0) 王 0, 从 而 仍 有 f(1)=0， 口 

引 理 2.3 ， 设 [0,co) 上 的 函数 /(z) 的 拉 普 拉 斯 变换 为 $(4), 则 


g(D= | ee f(s)ds, dS 


$A 
At+g. 


Se 


的 拉 普 拉 斯 变换 为 
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证 直接 计算 即 可 : 
上 edr | e ot Wf(s)ds= |. esf(s)ds | e 3+q)iqr 


-ou 








在 上 述 计算 过 程 中 以 f(s)| 代 f(s), 由 |] e-*17(Gs)1ds< 可知, 在 计算 中 交换 积分 号 是 可 行 


的 , 且 | e Ylg()ldr<o. 加 
现在 回 到 转移 概率 函数 上 来 .由 于 户 (zi) 是 [0,co) 上 的 有 界 连续 函数 , 它 有 拉 普 拉 斯 变换 ， 
沁 为 
$2)= | exps(oDdt， A>0, 1i1,jEE. 


它们 也 称 为 转移 概率 函数 的 预 解 式 . 
定理 2.3 对 一 切 i,jEE 及 ,n>0， 


(1) $s(2)>0; (9) 
(2 (10) 
(3) gsi) gl) +t Ap) Daa yp)=0; (11) 
(4) limaygs (4) = 65; (12) 
(5) limA {a4gs (4) 一 5 = gs- (13) 


证 (1) 是 明显 的 .(2) 由 条 件 >) ps(t)=1 即 得 .(3) 可 由 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 用 
如 下 方法 推 得 : 


I | e Mt)p, (t+s)dtds= 上 下 eI 2 palt) puls)dids 


Za 0 ps2). (14) 
现在 不 妨 设 ^*>y .注意 到 


e “pi(t+s)ds= | e tt) p;(u)du 


一 ep 


a e pi(u)du— | e “pi(u)du 





i | en 人 "pi(u)du ， 


我 们 有 


| | e Wti) p(t+s)dtds = | e dr e “pi(t+s)ds 


9 


= 多 (| ees emps(u)du | ep)tdr 


oo 
0 





_ Wp) 的 一 Au du 
二 e Pt 


| _ 
< Xn (2) ps (1)1. (15) 
易 见 , 若 >>4 ,我 们 可 得 到 同样 的 结果 .由 (14) 及 (15) 式 即 得 (11) 式 . 
(4) 可 由 连续 性 条 件 推 得 .事实 上 ， 
204)=2 | e pi(t)dt= | e “pi(u/A)du, 


lim p; (wu /4)= 6;, | e “du=1, 
1 一 oo 0 


由 控制 收敛 定 理 即 得 (12) 式 . 
最 后 证 明 (5) ,我 们 有 


oo 


aiags(2) 一 65 = | he * [ps(t)— 6i]dt 


一 上’. he “[pi(u/X4)— 6]du 


0 


Ca 一 的 
人 人 uA es 
lim A i u/A [gs 


及 | ve "dx = 1, 仍 由 控制 收敛 定理 得 到 (13) 式 。 口 


把 预 解 式 写成 矩阵 于 (4)= (yi;(4)), 定 理 2.3 中 的 预 解 式 的 性 质 也 有 简洁 的 形式 .如 (11) 
式 为 


V(X) — Pu) + A- nA)P()=0, 
通常 称 为 预 解 方程 .(12) 及 (13) 式 分 别 为 
limA¥(4)=I, limX{2¥(2)- II=Q. 
车 给 出 消 数 于 (2)= (y;(4)),A4>0, 满 足 (9)、(10)、(11) 及 (12), 那 么 可 以 证 明 , 这 时 存在 
标准 转移 概率 函数 ,以 于 (1) 为 它 的 预 解 式 . 今 后 我 们 不 需要 用 到 这 个 结论 ,所 以 不 给 出 证 明 . 
我 们 指出 ,如果 四 ( 纹 是 标准 广 转移 概 率 函 数 , 它 的 预 解 式 y; (4) 同 样 满足 定理 2.3, 只 是 
其 中 的 (10) 式 改 为 
A 之 yA<1. 


对 向 后 方程 (6) 取 拉 普 拉 斯 变换 ,利用 引 理 2.3, 得 到 预 解 式 满足 的 向 后 方程 (线性 代数 方 
程 组 ) 
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Em Qik a 
pi(4)= 2 Tr A) + A>0,， i,j€EE, 


由 引 理 2.2,(16) 与 (6) 是 等 价 的 . 


(16) 


同样 地 ,对 向 前 方程 (7) 取 拉 普 拉 斯 变换 ,得 到 预 解 式 满足 的 向 前 方程 (线性 代数 方程 组 ) 





05 ee 
(4) = 2 Ey gd A>0, i,jE€EE. 
也 能 证 明 (17) 与 (7) 是 等 价 的 . 
习 题 


2 一 1. 设 马 汞 可 夫 链 有 两 个 状态 , 且 它 们 不 全 为 吸收 状态 , 则 转移 概率 函数 答 阵 为 : 


1 p+ Ae ta) A—Ae ro 
人 十 HA pL— pe 人 AD Xe re) 
4 宇 0,1 宇 0,4+ >0. 
A + 








P(t)= 


2 一 2. 设 和 为 随机 矩阵: 


a 上 一 wa 
二 9 0 妇 c， 委 1， 
全 p 8 


a t 之 0| 及 to>0 使 得 和 A= Pin) 的 充 要 条件 是 a+B>1. 


一 3. 设 马 尔 可 夫 链 有 两 个 状态 , 且 对 一 切 之 0 


P(X,=0)=P(X,=1)=1/2, 





则 其 转移 概率 矩阵 为 
P(1) = Re 1 过 0 
ST 0 
2 一 4. 设 密度 矩阵 为 
人 
0=|12 -1 102|， 








1/2 1/2 -1 


求 转移 概率 函数 |P(z),1 宇 01. 
2 一 5. 设 状态 空间 为 10,1,…,aj]| 的 马尔 可 夫 链 的 密度 矩阵 为 


-4 4 0 0 … 0 
0 -4 A 0 0 

0 = ， 
0 = 交 , 久 
0 0 0 


(17) 


“17. 


求 转 移 概 率 函 数 |P(i),t 过 0 . 
2 一 6. 设 状态 空间 为 10,1,…,aji 的 生 灭 过 程 的 出 生 率 与 死亡 率 为 : 


A;=(a— i)4, Ki= ig, 0<i<a, A,u>0. 


这 个 生 灭 过 程 是 连续 时 间 的 埃 伦 弗 斯 特 扩 散 模 型 (参见 第 二 章 的 习题 S-2.). 设 Xo=0. 证 明 : 
对 1>0 


P(X,=i)= Cgigr  ,， 
其 中 


A A -tp)t pL A (Arp 
= = = + A 
Pitp Mtpe ” datp Atpe 


§3.3 最 小 解 与 规则 链 


在 这 一 节 中 ,我们 先 直接 讨论 科 尔 莫 艾 罗 夫 方 程 的 解 .所 以 我 们 讨论 的 出 发 点 就 是 密度 矩阵 
C@=(ci). 实 际 上 ,我 们 就 从 一 个 Q 矩阵 (oz ) 出 发 进行 讨论 . 
对 任意 的 i,jEE 及 1 之 0, 定 义 


f 0 (2)= 05e , 
fetd(4) = 小 代 “gf (s)ds, n>0, 
9 > 
这 实际 上 是 用 逐步 通 近 法 解 积分 方程 . 记 f(z) 的 拉 普 拉 斯 变换 为 $87”(4), 则 


4 多 (= 


DIE pe 0 nn 洋 0， 
$ (4)= 3 $0). 


$8(4) 为 f(t) 的 拉 普 拉 斯 变换 . 男 一 方面 ,由 (4) 的 定义 可 知 , 它 是 线性 方程 组 








WR i,jEE, 4>0 (1) 


TO eh re 自然 ,我 们 要 的 解 应 是 
转移 概率 函数 才 有 意义 ,然而 |f;(1),i,jEEl 一 般 只 是 广 转移 概率 也 数 (这 也 是 必须 引进 广 转 
移 概率 函数 这 个 概念 的 一 个 原因 ). 这 就 是 下 述 定 理 的 内 容 . 

定理 3.1 1f;(t),i,jEEl 为 标准 广 转 移 概 率 函 数 , 且 满 足 向 后 方程 


» t 站 
fult)= 6ye + 2 | e qafu(s)ds, i,j€EE, i120. 
大 i 
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设 1gy(t) ,ijEEI 也 为 广 转移 概率 函数 , 且 


gi(t)= Oe + De gg)ds, ijEE，t 之 0， 
ki 
则 对 一 切 i,jEE 及 1 之 0， 
gy(t) 之 fi(t). 
证 f(t) 之 0 是 显然 的 .我 们 要 证 明 对 一 切 i€E， 
之 方 ( 划 入 1， 1 之 0. (2) 
记 关 (2)= > /2), 则 (2) 人 后 (1). 为 了 得 到 (2) 式 ,只 要 证 明 对 一 切 n 之 0 
SDF)SI, 120. (3) 


现在 用 归纳 法 证 明 (3) 式 .n=0 时 


SS DO ls 四 
设 (3) 式 对 ” 成 立 , 则 


Ee Dh (BH) 
Se vt De Vad 
再 证 明 广 (!) 满 足 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 .为 此 先 用 归纳 法 证 明 ,>0 时 
Ht+s)= > DF Ys) 1s20. (4) 

n=0 时 (4) 式 显然 成 立 . 设 (4) 式 对 nn 成 立 , 则 

> /多 (大生 (9) 

= DPOF NS) + > > 

=e my Dt De vm(D EAP 0) )a 
= De vgs- wdut 2 | ewig ut s)ds 


i! 


t+s i 
= | e gf (t+s— u)dut | e orgify (t+s— u)ds 
tzi "0 


[sal 


tt's 
= | e gufi (t+s—u)du 
0 


1xi 
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t+i+s 


| -q(t+s-— ux) Gap )(z )du = Ns 
1xi 


0 


即 (4) 式 对 n +1 也 成 立 .由 (4) 式 可 得 


fi(t+s)= > irs > > 7 Sf (OF) 


> Sy Oe) RC 
这 样 就 证 明了 | f;(1),i,jEE!I 是 广 转移 概率 函数 .连续 性 条 件 是 容易 验证 的 : 
l>fi(t)2f0(1)=e “>1, i107, 


所 以 lim, .0* fi;(1)=1. 也 不 难 验 证 向 后 方程 : 
fi(t)= 之 f= Bse "+ 2 
= 6 .@ 十 > 一 Dg > ds 


Oe > (ds 
最 后 证 明 |f(1),i,j€ 1} 的 最 小 性 , 即 g(t) 之 f(t). 为 此 需要 用 归纳 法 证 明 . 对 之 0， 
gy(t)2F8(1), i,jEE, 120, (5) 
后 在 (5) 式 中 令 n 习 吕 即 行 了 .n=0 时 (5) 式 显然 成 立 : 
(re (ry 


设 (5) 式 对 成 立 , 则 
galt) >: Oe + >» | el VD ggy (s)ds 
La 


SS 了 人 aa 外 (5)ds 
Eee 
至 此 定理 全 部 证 毕 ， 口 
定理 3.2 |{f;(1),i,jEEI 满 足 向 前 方程 


万 人) = Oe 9 十 > fils ) que g(t ds. 
若 {r;(z),i Py 且 


rj(t)= 6; e 于 | rig(s )aue 9 :ds ， 


大 并 3 


则 对 一 切 i,; EE 及 z 之 0， 
* 120 


rt) 之 广 ()， 


证 为 了 得 到 向 前 方程 的 最 小 解 ,很 自 然 地 也 应 用 逐次 逼近 法 去 构造 .对 任意 的 i,jEER 及 
t 之 0, 定 义 


hn) 三: Oe a 3 


De 5) | As) gue sds, n 之 0， 
天 天 1 


oo 


hy(t)= >) h(n(z). 


n=0 


与 定理 3.1 的 证 明 完全 一 样 ,可 证 |h,(1),i,jE EI 满足 向 前 方程 ; 


h(t) Oe 光 十 > | hi(s)que v4. sds, 


且 有 最 小 性 :对 一 切 i,jEE 及 it 之 0,rij(t) 之 hi;(z). 我 们 只 要 证 明 : 对 一 切 i,jEE 及 i1 宕 0,， 
hj(t)= f(t). 
记 ph7)(z) 的 拉 普 拉 斯 变换 为 yA(4), 则 


6.. 
(0) 4 
Pi (4) 和 + di 9 


n+t 二 n dgj 
gy (A)= 2 DT 7 之 0， 
了 J 


pi (4)= pF (4). 


n=0 


是 (4) 是 hi;(z) 的 拉 普 拉 斯 变换 , 它 是 线性 方程 组 





| 和. 
i T' vj€EE, 4>0 人 


的 最 小 非 负 解 . 


我 们 只 要 证 明 yj (4)= y(4),i,jEE,A >0, 即 方程 组 (1) 与 (6) 有 相同 的 最 小 非 负 解 .为 
方便 起 见 ,我 们 用 和 矩阵 形式 . 记 


D=(#,(4)), =(6,(4)), Z=(z,), 


“ap 


c=(a a) 7), p= (0 rn B= (i 起 


( 取 4>0 为 固定 的 ,不 再 标 出 ) , 则 惠 是 











Z=CZ+B 
的 最 小 非 负 解 ,因此 加 = >)”，C"B ;于 是 
Z=ZD+B 


的 最 小 非 负 解 ,因此 于 = >》 Bp”" .容易 直接 验证 
"=D 
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基 qi E 
cp-(a 0) rT Ty ) i 
从 而 对 一 切 ”之 1， 
CB=C" 1BD=…= BD’, 
由 此 即 知 匆 = 灶 ， 口 
根据 定理 3.1 及 3.2, 我 们 称 { f(z),i,jEEl 为 科 尔 英 苞 罗 夫 方程 的 最 小 解 , 它 是 满足 向 后 
方程 的 最 小 Q 过 程 ,也 是 满足 向 前 方程 的 最 小 Q 过 程 .很 自然 ,我 们 感 兴趣 的 是 最 小 解 确实 是 
转移 概率 函数 的 情形 . 
定义 Q 矩阵 (q; ) 称 为 规则 的 , 若 对 一 切 i€E 及 上 0， 
2 f(t)=1. 
若 一 个 马尔 可 夫 链 的 密度 矩阵 是 规则 的 , 则 称 这 个 马尔 可 夫 链 是 规则 的 . 
定理 3.3 Q 矩阵 (gq; ) 为 规则 的 充 要 条 件 是 : 
(1) (gj ) 是 保守 的 ; | 
(2) 对 任意 的 4>0, 方 程 组 
人 zi = >) qnzi, 0<z,1l, i€EE (7) 
的 解 全 为 零 . 
证 规则 性 即 对 一 切 i EE 及 1 之 0, 2 fy(t)=1, 这 等 价 于 对 一 切 i EE 及 4>0， 
4 这 和 (4X)=1. 我 们 已 经 知道 筷 ) fy(1)<1, 即 4 这 ) 后 (4)<1. 令 


A 2 (4)=1- $i(2), i€EE, A>0, 


则 0 志 y(4) 志 1,i€EE,4>0, 且 规则 性 等 价 于 对 一 切 i€E 及 A4>>0,y(4)=0. 
记 pl (4)=X 44), 则 


(0 _4 
和 1 十 9i 


(n+1l) 一 人 (n) (A) n 宕 0 
er CA 





2 pA)=A 84)=1- p(X). 
因此 {1 一 y,(X),iEEl 是 线性 方程 组 














a ee ey (8) 
ki : 人 
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的 最 大 解 . 

先 证 充分 性 .由 保守 性 ,方程 组 (7) 与 方程 组 (8) 一 致 .方程 组 (7) 的 解 全 为 零 , 自 然 最 大 解 也 
为 零 :y(4)=0,i1EE,4>0, 从 而 密度 矩阵 是 规则 的 . 

再 证 必要 性 .| y,(4),iEEi 是 方程 组 (8) 的 最 大 解 ,但 Jy,(4)=0,iEE, 因 此 方程 组 (8) 必 须 
是 齐 次 的 : 


S20 i€E, 
[3 


即 (q; ) 是 保守 的 .现在 方程 组 与 (7) 又 一 致 了 .既然 方程 组 (8) 的 最 大 解 为 零 ,方程 组 (7) 的 解 也 
全 为 零 了 .， 口 

推论 1 设 保守 密度 Q 矩阵 (gq; ) 为 有 界 的 :g=supiqi<co, 则 0 是 规则 的 . 

证 设 iu,,iEEl 是 方程 组 (7) 的 解 . 记 wx = supju;. 对 任意 的 e>0, 取 iEE, 使 wu, 之 u -8， 
则 对 A >0， 


(A+ qi)(u—e)<(A+ qi) ui = 2 qu < qiu, 
大 
A(u -ese) 委 de 委 ae， 


令 es 一 0 ,得 1z 委 0, 因此 xx=0,xw =0,iEE，， 口 
推论 2 设 保守 链 的 跳 幅 链 的 每 个 状态 都 是 常 返 的 , 则 链 是 规则 的 . 
证 设 iu;,iE€E 上 | 为 方程 组 (7) 的 解 . 若 g;=0, 则 Ahu;=0,u;=0. 记 G= {i:g;>0|. 由 于 跳 
跃 链 的 状态 都 是 常 返 的 ,G 与 E\ G 都 是 闭 集 , 方 程 组 (7) 可 归结 为 
(A+ gi;)ui= >) dikUk ， i€EG. 
kikEG 


因此 不 妨 设 G=E, 即 对 一 切 i€EE,g;>0. 这 时 





A+g; 
2 rau = 4 i€E, 
di 


2 rs 之 pe rug 一 2 2 TikUg \ 
一 = Oru 和 Be ut+A 3 


> et i€EE, 
k 站 





Es 


再 由 于 少 ) rau 之 hu; /qi,iEE, 可 得 n 之 1 时 ， 


1 Dr Du,>A S: es iEE. 
[3 v=0 1 \ 
但 3 rr 一 00,n 一 00 ,因此 必须 u;=0,i1€EE. 口 
定理 3.4 规则 马尔 可 夫 链 的 转移 概率 函数 满足 科 尔 莫 戈 罗 夫 向 前 与 向 后 方程 ,上 且 是 方程 
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的 唯一 解 . 
证 由 前 一 定理 ,规则 链 是 保守 的 , 它 的 转移 概率 函数 | p, (1),i,jEE1 满 足 向 后 方程 ,因此 
由 最 小 解 的 最 小 性 ， 
pal(t)2f(t), i,jEE, i120. 
但 1= 这 py(t)= 2 fi(t)=1, 所 以 必须 对 一 切 i,jEE 及 t 之 0 
pi(t)= f(t), 
即 规则 链 的 转移 概率 函数 就 是 最 小 解 . 
用 完全 相同 的 证 明 可 知 , 若 lg(z),ijE 巨 | 为 标准 广 转移 概率 函数 , 且 满 足 向 后 方程 (或 向 
前 方程 ) , 则 也 必须 有 g; (1) = f; (1),i,jEEE,t 之 0. 所 以 ,规则 链 的 转移 概率 函数 是 向 后 方程 
(向 前 方程 ) 的 唯一 解 . 口 
前 面 的 讨论 表明 ,规则 马尔 可 夫 链 具有 良好 的 数学 性 质 ,然而 规则 性 是 通过 最 小 解 来 定义 
的 ,最 小 解 又 是 用 数学 中 常用 的 逐次 逼近 法 定义 的 .那么 最 小 解 是 否 纯粹 是 数学 分 析 的 产物 呢 ? 
实际 上 并 非 如 此 ,最 小 解 与 规则 性 都 有 清晰 的 概率 意义 . 
首先 ,我 们 指出 
f(z)=P(X,=j, 且 (0,z) 中 恰 发 生 n 次 状态 转移 |Xo= 7). (9) 


我 们 用 归纳 法 来 论证 它 .wn = 0 时 (9) 式 是 显然 的 ,因为 等 式 的 右边 即 6,P(r>1|Xo=i) = 
6je = 1) ,这 里 r 是 停留 在 初始 状态 上 的 时 间 . 设 (9) 式 对 n 成 立 ,我 们 来 说 明 它 对 n+1 也 
成 立 . 若 X,=j, 且 (0,1) 中 发 生 了 n+1 次 状态 转移 ,我 们 考虑 在 初始 状态 i 上 停留 的 时 间 z 的 
取 值 .rE (1 -;,z 一 s+ds) 的 概率 为 ge “(ds, 在 时 刻 + 发 生 第 一 次 状态 转移 ,从 状态 i 转 
移 到 状态 k( 关 i) 的 概率 为 gi /gq ,然后 从 状态 经 过 时 间 s 到 达 状 态 j ,但 中 间 发 生 n 次 状态 转 
移 , 概 率 即 为 fi)(s) .这样 ， 


P(X,=j, 且 (0,1) 中 恰 发 生 n+1 次 状态 转移 | X。= i) 
| Qie 9 和 
由 (9) 式 即 得 
万 (tf)=P(X,=j, 且 (0,z) 中 至 多 发 生 有 限 次 状态 转移 | XX = i)， 
> f(t)=P((0,) 中 至 多 发 生 有 限 次 状态 转移 | X= i). 
这 样 , 规 则 链 的 定义 也 ) fy(1) =1,iEEE 的 概率 意义 就 是 ,马尔 可 夫 链 在 任意 有 限 区 间 内 至 多 只 
发 生 有 限 次 状态 转移 .定义 


ro=0, 
tar+1=inf{i > 7, :XX | ， 7 之 0， 


mm ,2 之 1 就 是 发 生 第 ”次 状态 转移 的 时 刻 ,或 者 第 n 次 跳跃 的 时 刻 . 由 于 在 有 限 区 间 内 至 多 只 
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发 生 有 限 次 跳 妈 ,我 们 有 r。 人 oo .在 r, 与 ri 之 间 状 态 保持 不 变 :在 (ro,ri) 中 停留 于 初始 状态 
Xo ,在 (ri,rz) 中 停留 于 状态 X,,……: .所 以 ,规则 链 可 以 如 下 地 构造 : 


X,= &,(= XX,,), a a 1 之 0. 





换 句 话说 ,规则 马尔 可 夫 链 的 样本 函数 是 阶梯 函数 , 且 在 任意 有 限 区 间 内 至 多 只 有 有 限 个 不 
连续 点 ( 跳 贱 点 ), 它 由 跳跃 时 刻 {, ,n 之 1| 和 在 跳跃 时 刻 的 状态 1&,,n 宇 1| 及 初始 状态 完全 决 
定 .状态 的 跳跃 由 跳跃 链 决定 ,跳跃 时 刻 由 相继 的 停留 时 间 确 定 . 在 已 知 跳 蚂 链 的 状态 的 条 件 下 ， 
在 这 些 状 态 停留 的 时 间 相 互 独立 , 且 服 从 指数 分 布 .因此 ,在 没有 吸收 状态 时 ,它们 的 有 限 维 分 布 
为 :0< 让 < 蕊 区 < 二 时 


Plé0=i0, rE tt di) ,1=ily, Tr E(t ts tdt,),é, =i,) 








di di i 
= pi qi e “di lg e ni de, — + 
汪 di _， 

= pi qini “qi i exp| [gi ti 十 qi, (t2 wit £1) 十 …， 十 Qi _1(t _ £, 1) dtdi,. 


着 存在 豚 收 状态 , 则 名 为 吸收 状态 时 ,z+1= %,641 也 不 必定 义 了 .这 时 有 限 维 分 布 也 不 难 写 
出 ,只 是 形式 上 更 复杂 些 吧 了 . 综 上 所 述 ,对 规则 链 我 们 已 经 完全 掌握 了 它 的 结构 .由 于 有 这 样 简 
单 的 结构 ,使 进一步 分 析 状 态 的 性 质 及 状态 转移 的 规律 大 为 简化 了 . 

定理 3.5 设 生 灭 过 程 的 密度 和 矩阵 为 


一 40 A0 0 0 
HA 一 人 Ai+Aa) 入 0 
Q=| 0 A2 —- (A2+p2) A2 …|， 


hi>0，i>0; ji20，i21. 


(1) 着 有 无 穷 多 个 ,使 4, =0, 则 生 灭 过 程 是 规则 的 ; 
(2) 若 至 多 有 有 限 个 n ,使 4, =0, 令 
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3 若 in:;4, = 二 01 非 空 集 ， 
a 二 





0， 若 {n:4, = 二 0} 为 空 集 ， 
则 生 灭 过 程 为 规则 的 充 要 条 件 是 

Te 

人 


证 对 生 灭 过 程 , 方 程 组 (7) 形 为 
(A + A0) zo = Aoz1, 
[ee i 之 1， (10) 
0 委 zx 委 1， 1 之 0. 
车 4,=0, 则 前 5+1 个 方程 构成 下 列 方程 组 : 


(A + A0) zo = Aoz1, 
(AtAit pi) zi= pizi-1tAhizit1l, lSi<b-1, 


(11) 
(A+ jp) = pozs_1, 
0 委 z 委 1， 0< 委 :和 雪 /， 
如 果 考 虑 +1 维 的 保守 Q 矩阵 
一 人 0 A0 0 eg wos 0 
pa 一 (+A) A …， 0 
0Q, = : : 9 
0 a pol (Mitpo-1) Al 
0 Pe 冲 和 0 Le 一 HB 


Qs 自然 是 规则 的 .对 应 于 Q 的 方程 组 (7) 即 方程 组 (11), 因 此 (11) 的 解 全 为 零 .由 此 可 知 , 若 
”lu;,iEE| 为 方程 组 (10) 的 解 ,只 要 1p =0, 就 有 uo==…= us=0. 这 样 ,定理 的 第 一 个 结论 (1) 就 
得 证 了 . 

再 证 第 二 个 结论 (2) .为 方便 起 见 ,规定 yo=0, 并 引进 记号 : 


1 An 
二 二 一 之 
£ N >0，, g， 二 nn 之 a， 


1 一 Gy 

mn 一 

fnt grfn-1t "+ gn gatifas n 之 a +1. 

先 证 充分 性 . 设 >)” ms= %. 设 ui,iEEE| 为 方程 组 (10) 的 解 , 则 wo=… = us_1=0， 
Uatl Ua = Afaua + gaua, 


Un+1l— Un=Afrunt gn(Un— Un-1) 
=Afuunt gilAfs us 1t gn-1(Un-1~ us -2)] 
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=ALfrunt gnfn 1un-1t rt gn gatr2fariuatl] t+ gn Bari(Uat1— Ua) 
=AL fount gafn-1iun-1t rt ga Batifaua]t grrgaas nat+l. 
(12) 
易 见 ju ,n 宇 0} 为 单调 上 升 数列 (只 需 用 归纳 法 证 明 ). 设 uo0=…= us_1=0,ws>0(65 之 a). 由 
(12) ,2 之 2+1 时 


Un+l un Agn'"" Bo+1fous ， 


1 之 x+1 - us> Xuafs ( > Bu''" Bobo+1 上 
v=b+1 


从 而 > Bn"'Boti<™ ,进而 


定义 
fo， n=b, 
m= 
fnt gnfn-1t + gn go+1fos n 宇 b+1， 


则 ”之 8+1 时 ， 
b 
ms— m= 2) gr gefii 
k=at+l 
oo pb oo 
之 (mm 人 )= 之 之 8 有 Pi<oo， 
上 中 


n=b+1 ~“a+l n=6b+1 
因此 2 _ ,1 m=%. 仍 由 (12) 式 ,n 之 b+1 时 


Ea 
Unti— UnAmaus, 


nn 
Ld 
lun+t1— up+lAu, > ms 


v=b+1 


从 而 祖 _,,， m%<<%, 得 出 矛盾 .所 以 ,|u,,n 之 a| 也 全 为 零 . 
再 证 必要 性 . 设 m= 2 ,aa 和 eco, 自然 也 有 g= > gn “us 世 .定义 Wo= = 二 wl 


=0,u, =e "+8) ,并 按 (12) 式 递归 地 定义 fw ,nn 之 a +11. 易 见 ,0 之 ws<1, 且 {1u, ,nn 之 01 仍 是 
单调 上 升 数 列 . 这 些 定义 的 1u;,iEEI 满 足 方程 组 (10), 只 差 最 后 一 个 条 件 :0 志 uj 夺 1,iEE. 若 
我 们 证 明了 0 二 w; 夺 1,n 之 a +1, 则 方程 组 (10) 有 非 零 解 , 链 不 是 规则 的 .下 面 就 证 明 这 一 事实 . 


由 (12) 式 及 数列 的 单调 性 ,z 之 a 时 ， 


n+ 一 us SAm, + gn Ea) un $ 
zsISS (1L+A72 + ga ga) un 
A 


TT 
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<exp | 3 (An, 二 gu ga) | Ua 


oo 


=exp| — 之 > (Am, + gga) | <1 
(这 里 利用 了 不 等 式 1+ x 二 e* ,x 之 0). 至 此 定理 全 部 证 毕 .， 口 
推论 1 纯 灭 过 程 是 规则 的 . 
推论 2 纯 生 过 程 是 规则 的 充 要 条 件 为 ,对 一 切 n 衬 0 
1 i 
2 (规定 六 = ). 


k=n 


例 3.1 线性 纯 生 过 程 ”这 时 ,= mm,nZ0. 显 然 , >)” ,1/4, = co ,因此 线性 纯 生 过 程 是 


规则 的 .为 了 求 得 转移 概率 函数 ,我 们 解 向 前 方程 . 
首先 指出 ,j<i 时 ,pi(t) 二 0( 这 符合 于 只 生 不 灭 的 直观 意义 ). 事 实 上 ,i>0 时 先 有 


. Pio(t)= -Xhopio(t), zio(0)=0， 
因此 ,yp;o(z) 夺 0. 这样 
Pil(t)=A0pio(t) -Apin(t)= es 
若 i>1, 则 p;1(0)=0, 也 有 pi1(i) 夺 0. 逐步 推 下 去 ,直至 得 到 p;，1(1) 二 0. 


现在 ,向 前 方程 归结 为 
人 — Aipa(t), 


pp i LY),. jt 
注意 到 
[evps(t)] =epsy(t) + hev p(t)= A-1pij-1(t)e, 
我 们 得 到 递 推 公式 
Pi(t)=e *, 
人 erpi 1(05)ds, ji+1. (13) 


(13) 式 对 一 般 的 纯 生 过 程 都 成 立 . 
对 于 线性 纯 生 过 程 ,我们 有 


polt)=1, po;(t)=0, j>1, 
Ble}=O re (Te “Hi S12 (14) 
pi(t)=0, i 之 1,j<i. 


由 (13) 式 及 归纳 法 就 能 证 明 (14) 式 .事实 上 ,i 实 1,j 之 i 时 
Pi,j+1(t)= A | e G+Dap (s)ds 
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= 欠 人 
0 
-7jGEie Geoz| es (es — 1)i-ids 
0 

_ 7 ER 

OG-D! (1! jitl 

=C ie (1—e *)itl i, 
事先 不 知道 (14) 式 而 要 通过 (13) 把 它 归 纳 出 来 还 是 比较 困难 的 .下 面 我 们 利用 母 函数 及 解 一 阶 
偏 微分 方程 的 方法 求 转移 概率 函数 .不 熟悉 解 一 阶 偏 微分 方程 的 方法 的 读者 可 以 跳 过 下 面 这 
一 段 . | 

令 Bi(t,z)= 这 0 pi(1)z ,i 之 0,1 之 0,|z|<1. 线 性 纯 生 过 程 的 向 前 方程 为 

es 
Pilt)=A(j -1)p;,; 1(1)— Nps(t), 7 之 1， 


‘ 


由 此 不 难得 到 
多 DS) pi(t)z=4 5) [OG Dp-i(t) -jps(t) 2 = -1)3, 
ft i=0 A 
®B;= (0,z)= xz’. 
由 常 微分 方程 
加 dz Es 
ee 
求 得 首次 积分 
Ce 


因此 ,一 阶 偏 微分 方程 的 通 解 为 


Bi(t,z)= (E27e *). 








Ct | 
由 初始 条 件 
®(0,2) = (FET) = 
可 解 得 
%(z)= (5 ) , 
从 而 ;之 1 时 


At 


$B,(t,z)= | | 2 Cr,, 1(1—e *)"er, 
n=0 


“T2090.s 


oo 


这 里 用 到 ( > zx")'= > ,Ciz ,1z1<1, 再 比较 等 式 两 边 寡 级 数 的 系数 , 即 可 得 到 
(14) 式 . [] 

例 3.2 分 支 过 程 现在 用 连续 时 间 马 尔 可 夫 链 来 描述 群体 的 “繁殖 "问题 .以 X, 表示 时 刻 
: 群体 中 个 体 的 个 数 , 与 离散 时 间 情 形 不 同 , “世代 ”的 概念 在 连续 时 间 情 形 已 不 适用 了 . pi (+) 是 
i 个 个 体 在 时 间 z 之 后 变 成 j 个 个 体 的 概率 ,我 们 假设 


0< piol(t)<1, (15) 


不 然 的 话 , 讨 论 也 要 变 成 平庸 的 了 .我 们 仍 假设 各 个 个 体 繁 入 后 代 的 状况 是 相互 独立 的 ,而 0 是 
吸收 状态 .因此 , 记 @;(t,z)= 2) _。 ps(1)zz, 则 应 有 


DB,(t,z)=[®B(t,z)]', i>0. . (16) 


我 们 称 满足 条 件 (16) 的 连续 时 间 马 尔 可 夫 链 为 连续 时 间 的 分 支 过 程 .为 方便 起 见 ,今后 记 Gi(z) 
= Bi(1,z). 这 时 对 1 ,5 之 0， 


G,，(z)=GCG:(z)). (17) 
事实 上 ,这 是 科 尔 莫 戈 罗 夫 - 查 普 曼 方程 的 推论 : 
Geis)= Dp ts)ds 福 pi i) puls) 
3 out St pit) Pls,?) 
四 pat LG = AG) 


(17) 的 直观 意义 也 是 十 分 清楚 的 . 一 个 个 体 经 过 时 间 * 变 成 若干 个 个 体 ,这 些 个 体 再 相互 独立 地 
经 过 时 间 s 繁殖 各 自 的 后 裔 ,它们 的 总 和 就 是 一 个 个 体 经 过 时 间 :+ 所 繁殖 的 子孙 ,因此 就 有 
母 函 数 的 迭代 式 ， 

现在 考察 分 支 过 程 的 密度 矩阵 .; 之 1 时 ， 





j=0 k= i-l 


a 0 (18) 
| 


特别 ,qi; = 191 . 由 假设 (1$) ,qi >0. 记 


f(z)= > qijz . 


我 们 将 只 讨论 保守 的 分 支 过 程 ,因此 f(1) =0. 这 时 由 于 六 (z) 宇 0,f(z) 在 (0,1) 中 保持 定 号 , 没 
有 零点 ,或 只 有 一 个 零点 . 
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注意 到 2G = 7(z), 由 (17) 式 对 >0 有 


i=0 
dG) ) =f/(G, (2 


(z) 
F pe ”| (19) 


取 6>>0 充分 小 , 则 f(xz) 在 (1 一 6,1) 中 保持 定 号 .固定 1, 当 xz 充分 接近 于 1 时 ,z,G,(z)E 
(1-6,1). 因 此 


上 3 | 加 


令 上 一 co, 即 有 


1 dz 
| . (20) 


G,(0) 


在 (19) 式 中 取 z=0, 由 于 G,(0)= pio(1)>0， 积分 | ee KE 收敛 ,必须 有 gio= f(0) >0. 


一 个 保守 Q 矩阵 若 满足 条 件 (18), 且 gl >0,gio>0, 就 称 为 分 支 拭 阵 . 这样 ,我 们 证 明了 保 
守 分 支 过 程 的 密度 拖 阵 是 分 支 矩阵 ,上 且 满足 条 件 (20). 
现在 ,我 们 证 明 满 足 条 件 (20) 的 分 支 矩阵 是 规则 的 ， 用 分 二 和 即 满足 条 
件 (17). 为 此 只 要 讨论 最 小 解 {f(1),i,jE | 的 性 质 . 它 满足 向 前 方程 : 


fi(t)= > fie(t) qy = 3 kfia(t)q1,; +l: 


记 Fi(i,z)= 之 -0 方 (十 , 则 ;>1 时 


9F; /也 
BD | 7 (2 kfalt) gs- kt1) 
j 


X=1 


3 > (k+1)f ,+1(t) gq1,;- ze 


(BorDiunt) se) qz) = f(z ja, 
因此 F; 为 下 列 方程 的 唯一 解 : 


fa PO)=r (21) 


另 一 方面 ,(F1)' 也 满足 方程 (21). 事 实 上 ， 


a(F1)’ 


FD)' = (FD) iP) (r) = (2) 


因此 i 写 1 时 ,F(t,z)=[fi(t,z)]j'.i=0 时 显然 有 Fo(t,z)= poo(1)=1=[Fi(t,z)]J". 利 用 
科 尔 莫 戈 罗 夫 一 查 普 曼 方程 也 有 Fi(t+s,z)= Fi(t,Fi(s,z)),t,s 之 0. 照 搬 前 面 的 证 明 ,我们 
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仍 有 | ”7 = : 关 Fi(Ct,1)<1, 在 这 积分 式 中 令 2 个 1 ,就 与 条 件 (20) 相 矛盾 了 .因此 ， 


f(t)= Fi(:,1) =1, 即 最 小 解 为 转移 概率 函数 ,其 密度 矩阵 是 规则 的 , 且 是 分 支 过 程 . 
总 之 ,保守 马尔 可 夫 链 为 分 支 过 程 的 充 要 条 件 是 它 的 密度 矩阵 为 分 支 矩 阵 , 且 满足 条 件 


(20), 这 时 链 还 是 规则 的 .利用 (19) 式 可 由 密度 矩阵 决定 分 支 过 程 的 转移 概率 了 沙 数 . 
保守 分 支 过 程 的 跳跃 阵 为 : 


700 一 上 人 ， 7 一 有 7 一 1 ZL 人， 


0， j=1, 
ba jz1. 


qi 


其 中 


”由 于 ri,i-1 二 ho= qio/q1>>0,i 之 1, 对 任意 的 i 之 1,i->0, 但 0 是 吸收 状态 .我 们 同样 要 讨论 吸收 
概率 问题 .从 状态 i 之 1 出 发 ,被 0 吸收 的 概率 为 


fio= lim pio(t). 
由 (17) 式 ,pio(1)=[pio(z)]i, 因 此 fio= (fio) .fio 也 称 为 天 种 概 幸 .下 证 万 0o 即 方程 f(x)=0 


的 最 小 正 根 o .我们 已 指出 ,或 有 co=1, 或 有 0<o<1. 由 于 /(0)>0, 在 (0,c) 上 也 有 f(x)>0. 
此 外 必 有 


| 7 区 ==， (22) 
在 so=1 时 ,这 由 条 件 (20) 即 得 .在 “<1 时 ,我 们 有 
f(z)=f (0)(z-o)+o(r-o), 
(22) 也 成 立 .在 (19) 式 中 取 z=0， 


| 
0 f(z) 


由 (22) 式 可 知 ,t->co 时 G,(0) 即 pio(t) 单 调 上 升 收 伊 于 o. 所 以 , fio=o. 方 程 f(z)=0 即 
2 ,hiz =z, 由 此 可 知 , 灭 种 概率 f40=1 的 充 要 条 件 为 


J 


it， 


3 一 1. 设 在 生 灭 过 程 中 
A 三 7 ,220; /= li1，a, ,>0. 
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证 明 : 过 程 为 规则 的 充 要 条 件 为 a 过 1 或 a>1,4<p. 
3 一 2. 设 在 纯 生 过 程 中 4, = nA +6,n 之 0,4,6>0, 则 


0， 


—(iA+t+6)t 
3 


ps(t)=4°e | 
j=1 
ill (a tok -+O eiTi, jj 之 i. 


3 一 3. 证 明 : 纯 灭 过 程 的 转移 概率 函数 满足 关系 式 : 
pil(t)=e “/, 
p(t)= pe | epi,;+1(s)ds, j<i. 


特别 ,对 线性 纯 灭 过 程 :j= ny,n 之 1 ,1>0， 
pi(t)=Ge “(1l-e “) /i,jSi. 
3 -4. 证明: 在 纯 灭 过 程 中 ,从 状态 ;>>0 出 发 到 被 状态 0 吸收 ( 灭 种 ) 的 平均 时 间 为 二 + 二 
1 2 

i 

3 一 5. 设 a 个 人 中 有 某 一 个 人 生 某 种 传染 病 .在 At 时 间 内 有 两 个 人 接触 的 概率 为 wAt ， 多 
于 一 次 接触 的 概率 为 o(At ) ,任何 两 人 接触 的 可 能 性 完全 相同 .一 个 病人 与 一 个 非 病人 接触 , 则 
非 病人 被 传染 , 且 病 人 永远 是 病人 .证 明 :全 部 a 个 人 被 传染 的 平均 时 间 为 


3 一 6. 证 明 : 线 性 生 灭 过 程 的 转移 概率 函数 的 母 函 数 为 
过 一 (QA-p)t] 一 (AAA)i ? AH， 
D) pi(t)z= [py—Ae J XAz[1-—e ] 

"=0 | 


py A 


3 7. 设 保守 马尔 可 夫 链 的 密度 答 阵 满足 条 件 :gq, 二 A4>0, 则 转移 概率 浮 数 为 


六 (= Dr es, 


其 中 rr 为 跳跃 链 的 n 阶 转 移 概 幸 . 试 给 上 述 表 示 式 一 概率 解释 . 
更 一 般 地 , 若 supig; 信 XA 达 00, 则 


ps(i)= > ky Ye- 
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其 中 (RD ) = 下", 玉 = (有 5 ): 
局 = (1 和 jy + (1 65). 
3 - 8. 证 明 ; 生 灭 过 程 为 分 支 过 程 的 充 要 条 件 是 它 为 线性 生 灭 过 程 : 
l=nA, n0; p= np,n>l,A>0,p>0. 

这 时 灭 种 概率 为 min(1,p/X). 

3 一 9. 车 分 支 答 阵 满足 条 件 : 2)，， kgik<oco, 则 它 是 规则 的 ， 

3 一 10. 证 明 : 连 续 时 间 分 支 过 程 的 任 一 离散 骨架 是 离散 时 间 的 分 支 过 程 , 且 每 一 离散 骨架 
的 灭 种 概率 都 与 原来 的 连续 时 间 分 支 过 程 的 灭 种 概率 相等 . 


8$3.4 状态 分 类 与 平稳 分 布 


与 离散 时 间 的 马尔 可 夫 链 一 样 ,我 们 对 连续 时 间 的 马尔 可 夫 链 也 要 讨论 状态 的 分 类 ,转移 概 
率 函 数 的 极限 性 质 以 及 平稳 分 布 . 有 些 概念 ,例如 两 个 状态 的 相通 及 在 此 基础 上 所 作 的 状态 分 类 
等 ,可 以 直接 从 离散 时 间 情 形 搬 到 连续 时 间 情 形 ; 但 也 有 些 概念 ,例如 常 返 性 及 正常 返 性 等 , 却 无 
法 立即 照搬 过 去 .为 了 使 我 们 的 讨论 只 需 用 初等 的 方法 ,我 们 将 通过 对 离散 骨架 的 状态 分 类 的 讨 
论 , 建 立 起 连续 时 间 马 尔 可 夫 链 的 状态 分 类 .这 样 做 可 以 充分 利用 离散 时 间 情 形 的 已 知 结果 . 

定义 ”车 存在 :>0, 使 p;(t)>0, 则 称 由 状态 i 可 达 状 态 j, 记 为 i 一 j. 若 对 一 切 1 >0， 
ps(t)=0, 则 称 由 状态 i 不 可 达 状 态 j, 记 为 i-xj .由 定理 1.3, 对 一 切 :>0,pi(t)>0, 因 此 由 状 
态 i 总 可 达 状 态 i, 这 点 与 离散 时 间 情 形 有 所 不 同 . 若 i->j 且 j 一 i, 则 称 状 态 i 与 j 相通 , 记 为 
ic) .完全 类 似 地 ,可 达 与 相通 关系 有 传递 性 , 即 若 i>j ,jk&, 则 i->k ,或 若 ij je , 则 ie> 
.从 而 可 以 按 相通 关系 把 状态 分 类 ,两 两 相通 的 状态 组 成 一 个 状态 类 .状态 i 称 为 本 质 的 , 若 i 
一 j 时 , 必 有 j->i. 若 存在 j 使 得 i 一 j ,但 jxi, 则 称 状态 i 为 非 本 质 的 . 若 整 个 状态 空间 是 一 个 
状态 类 , 则 称 马尔 可 夫 链 是 不 可 约 的 . 

上 面 这 些 定义 与 离散 时 间 情 形 是 完全 相同 的 .建立 在 可 达 与 相通 关系 上 的 其 它 概念 (如 闭 集 
.等 ) 和 结果 都 可 以 搬 过 来 使 用 ,继续 有 效 ,我 们 不 再 重复 叙述 了 . 

定理 4.1 下 列 命题 等 价 : 

(1) 由 状态 i 可 达 状 态 j; 

(2) 对 任意 的 h 骨架 ,由 i 可 达 j; 


(3) 对 某 一 个 骨架 ,由 i 可 达 j( 记 为 72%j). 
证 (2) 二 (3)=>(1) 是 显然 的 ,只 要 证 (1)>(2). 设 1>0 使 pj(1)>0. 取 充分 大 使 nh> 


1, 则 由 定理 1.3 可 知 p(nh)>0, 即 i 六 j. 这 对 一 切 有 >0 成立， 口 
在 定理 4.1 中 ,将 可 达 改 为 相通 显然 也 是 成 立 的 .定理 4.1 说 明 ,从 一 个 状态 是 否 可 达 另 一 
个 状态 ,两 个 状态 是 否 相通 ,对 全 部 离散 骨架 和 原来 的 连续 时 间 马 尔 可 夫 脸 都 是 一 致 的 ,从 而 它 
们 的 状态 类 也 都 是 一 致 的 ,一 个 状态 (或 类 ) 是 本 质 或 非 本 质 也 都 是 一 致 的 .很 自然 地 ,我 们 希望 
一 个 状态 是 常 返 的 或 非常 返 的 ,正常 返 的 或 零 常 返 的 ,也 应 该 对 全 部 离散 骨架 都 是 一 致 的 . 另 一 
方面 ,离散 时 间 情 形 定义 状态 为 常 返 的 或 非常 返 的 ,正常 返 的 或 零 常 返 的 方法 却 不 能 直接 搬 到 连 
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续 时 间 情 形 ,这 也 迫使 我 们 试图 从 离散 肯 架 的 状态 性 质 去 寻找 解决 问题 的 途径 .这 些 考虑 导致 下 
面 的 结果 . 
定理 4.2 对 任意 的 ziE 巨 , 若 


| plidr=%, (1) 
则 对 一 切 h >0， 


pi(nh)=%. (2) 


反之 , 若 对 某 一 个 h >0,(2) 式 成 立 , 则 (1) 式 成 立 . 
证 p;(h) 是 [0,co) 上 严格 正 的 连续 函数 ,对 任意 的 h >0， 


min pi(r)= 6(h)>0, 
0< r< 委 大 


min pi(+r) 之 bi(t) minpi(r)= p(t)6(h), (3) 
0 rh 0 委 r 委 天 
m.(h)= min pi(t)>pi(nh)d(h). 
nh (n+ 1)h 


由 (3) 式 ,0 委 r 委 六 时 ， 


pi(t)2p,(t.—r)6(h), 
pi((n+1)h)p;(nh+(h— r))3(h), 


从 而 有 


pi((n+1)h) 二 > 


I 
LL 


ax pi(t)6(h), 
(n+1)n 


M,(h)= max pa( FI ba (n+1)h), 


(nt+1)h 
a 


jp8(h) Spanh) Sh Dy mE| pali)d 


N-1 ANY 
<h 之 M,(h)<HA 之 pi(nh), 


由 此 即 得 定理 结论 ， 口 

由 定理 4.2 可 知 ,一 个 状态 是 常 返 的 或 非常 返 的 ,对 全 部 的 离散 骨架 来 说 是 一 致 的 . 这 就 自 
然 地 引出 下 面 的 定义 . J 

定义 ”对 连续 时 间 马 尔 可 夫 链 ,一 个 状态 称 为 常 返 的 或 非常 返 的 , 若 对 全 部 离散 骨架 这 个 状 
态 是 常 返 的 或 非常 返 的 . z 

定理 4.2 也 提供 了 常 返 的 判别 法 :状态 i 为 常 返 的 充 要 条 件 是 


| pi(t)dt= %. 


为 了 进一步 讨论 正常 返 与 零 常 返 ,我 们 也 要 先 讨论 转移 概率 函数 的 极限 性 质 .在 离散 时 间 情 

形 ,由 于 状态 可 能 是 周期 的 ,因而 使 情况 复杂 化 了 .但 在 连续 时 间 情 形 ,由 于 对 一 切 h >0 及 正 整 

数 nn, 对 一 切 iEE,pi(nh)>0, 对 任 一 离散 骨架 ,每 个 状态 都 是 非 周 期 的 .所 以 ,周期 的 概念 对 
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连续 时 间 的 马尔 可 夫 链 就 不 需要 了 ,由 周期 性 造成 的 麻烦 也 就 没有 了 . 
定理 4.3 对 一 切 i,;jEEE, 存 在 极限 


limps(t)= x. (4) 


证 由 离散 时 间 情 形 的 结果 我 们 知道 ,对 一 切 h >0 存在 极限 lim, ww pi (nh ). 我 们 要 利用 
这 个 事实 证 明 极 限 lim,. p; (:) 存 在 . 
对 任 给 的 e>0, 由 于 p;(t) 在 [0,%) 上 一 致 连续 , 故 有 >0, 使 lz: -1 |<h 时 


[ps(t)— ps(t )1<3- 
对 这 个 h>0, 有 正 整数 N, 使 n,n 之 N 时 ， 
[ps(nh)— py(nh)|<3. 


这 样 ,对 任意 的 t,t >Nh, 取 正 整数 n,n ,使 得 nh 声 1 之 (n+1)h,nh 过 1 之 (nn +1)A 那么 必 
定 有 n,n 宇 N,it-nh|<h,|t 一 nhi1<<h ,因此 


[pi(2)— pst )|< 1p;(t)— p(nh)| + | pis(nh)— p(n'h)| 


二 ND 0 rr 
这 即 证 明了 极限 lim,. p;(t) 存 在 .， 口 
由 定理 4.3, 对 一 切 h>0 极限 


lim pi(nh) 一 Ti 一 Ti， 


与 h 无关 ,因此 一 个 常 返 状 态 i 为 正常 返 的 (x;>>0) 或 零 常 返 的 (zx; =0) 对 全 部 离散 骨架 来 说 也 
是 一 致 的 .类 似 地 给 出 下 面 的 定义 . 

定义 ”对 连续 时 间 马 尔 可 夫 链 ,一 个 常 返 状态 称 为 正常 返 的 或 零 常 返 的 , 若 对 全 部 离散 骨架 
这 个 状态 是 正常 返 的 或 零 常 返 的 . 

状态 i 为 正常 返 的 充 要 条 件 是 x; >0. 

对 于 有 限 状 态 的 连续 时 间 马 尔 可 夫 链 ,离散 时 间 情 形 的 结论 显然 继续 成 立 :本 质 状态 必 为 正 
常 返 状 态 ; 正 常 返 状态 必然 存在 ;从 非 本 质 状态 出 发 必定 要 进入 正常 返 状 态 ; 有 限 不 可 约 链 的 状 
态 空间 是 一 个 正常 返 类 . 

现在 可 以 将 不 变 测 度 与 平稳 分 布 的 概念 及 有 关 结 果 直 接 搬 到 连续 时 间 情 形 了 . 

定义 ” 非 负数 列 fu;,iEEI 称 为 连续 时 间 马 尔 可 夫 链 的 不 变 测度 ,车 对 一 切 :>0 

u; = 2 wpa(t), i€E, 


这 也 就 是 要 求 fu;,iEE| 是 全 部 离散 骨架 的 不 变 测度 .车 不 变 测 度 是 概率 分 布 , 则 称 之 为 平稳 
分 布 . 
由 于 xi=lim eps) 与 户 无 关 , 因 此 对 正常 返 不 可 约 链 , | ri,iE 五 | 为 平稳 分 布 ,进而 
离散 时 间 情 形 平稳 分 布 存 在 的 条 件 及 其 一 般 形式 对 连续 时 间 情 形 同 样 有 效 . 类 似 地 ,也 有 可 配 称 
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链 与 可 逆 链 的 概念 . 

定义 若 存 在 不 恒 为 零 的 非 负数 列 | wu ,ieE 玉 | 使 得 对 一 切 t>0,i1,jEE, 

uipi(t)= upji(t), 

则 称 马尔 可 夫 链 为 可 配 称 的 .这 时 ju;,iEEI 也 必 为 不 变 测 度 .车 上 述 数 列 | Uu;,i1E€El 又 是 概率 
分 布 , 则 称 马尔 可 夫 链 为 可 逆 的 .这 时 jw,iE 五 | 也 必 为 平稳 分 布 . 

我 们 虽然 已 对 连续 时 间 马 尔 可 夫 链 的 状态 分 类 作 了 合理 的 定义 ,但 还 没有 给 出 有 效 的 判别 
方法 以 及 求 平稳 分 布 的 方法 ,因为 一 般 说 来 我 们 无 法 求 得 转移 概率 函数 zi(t) 的 明显 表达 式 .我 
们 早已 指出 ,实际 上 能 得 到 的 是 密度 矩阵 (qz ) ,然而 只 有 在 马尔 可 夫 链 是 规则 时 ,转移 概率 函数 


才 由 密度 矩阵 唯一 决定 .所 以 ,下 面 我 们 只 讨论 规则 链 , 找 出 根据 密度 矩阵 判别 状态 性 质 及 求 平 
稳 分 布 的 方法 . 


定理 4.4 对 规则 链 及 i 了 j,i->j 的 充 要 条 件 是 对 其 跳跃 链 , 由 ; 可 达 j( 记 为 i>j). 


证 先 证 充分 性 . 度 2 i 不 会 是 吸收 状态 ( 易 见 ,对 连续 时 间 马 尔 可 夫 链 及 其 跳跃 链 ， 
吸收 状态 是 一 致 的 ) .车 太 之 0, 则 gj >0, 然 而 gq; = lim,.o- ee 充分 小 时 p; (zt)>0, 从 而 
i>j .一 般 地 ,存在 互 不 相同 的 (i = )k0,k1,…,k,( 二 j), 使 得 re,k .>0,1=0,…,n 一 1, 从 而 
说 i+1,l 二 0,…,n 一 1, 即 得 i->j( 值 得 注意 的 是 ,充分 性 的 证 明 并 没有 用 到 规则 性 的 假设 ). 

再 证 必要 性 . 设 i 一 j, 有 :>0, 使 p; (1)>0. 由 规则 性 ,并 注意 到 i#j, p(t)= f(t) 


= >” (6) ,因此 必 有 n 之 1 使 /4 (1)>0. 又 由 于 


f°)= BD) es gf ns)ds>0, 
ki “0 
必 有 1 关 i. 使 得 


it 
| e ut gf (s)ds >0, 
0 1 


从 而 gx >0 ,并 存在 :1 € (0， !) 使 7 D(z )>0. 显然 i 下 ,因此 车 k1= 二 j, 即 有 
1 关 j , 同 理 可 知 有 2 关 &1, 使 gx 4 OC ) 及 存在 t2€ (0,11) 使 f",; (ts)>0. 同 样 , 若 
=j, 即 有 i 一 >j. 若 天 j, 则 继续 施 以 同样 的 手续 ,至 多 直到 有 ，1 关 ks, 使 qe ,4 ,>0 


(hz 1) 及 存在 坟 _1€ (0, 2) 使 如,(1,-1) >0, 且 和 1 关 j .但 这 时 
Ds 3 em dg je Yds, 
因此 有 gi .>0,& 47j 从 而 党 一 之 ,i 下 i 成 立 ， 口 
由 定理 4.4 可 知 , 规 则 链 的 状态 类 与 它 的 跳 路 链 的 状态 类 是 一 致 的 ,个 类 是 本 质 的 或 非 本 
质 的 对 它们 来 说 也 是 一 致 的 .所 以 ,只 要 判别 各 个 本 质 类 的 状态 性 质 . 也 不 难看 出 ,把 一 个 规则 链 


局 限 在 一 一 个 本 质 类 C 上 所 得 到 的 不 可 约 链 仍然 是 规则 的 .因为 对 新 得 到 的 不 可 约 链 , 按 定义 写 
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出 的 最 小 解 就 是 原来 的 最 小 解 的 一 部 分 {f(t),i,jE C1, 只 要 注意 到 i€ C,j&C 时 gj =0, 从 
而 对 i€EC, >) ,ecfs(t)=1. 所 以 ,我 们 只 要 判别 规则 不 可 约 链 的 状态 性 质 . 
定理 4.5 ”规则 不 可 约 链 为 常 返 的 充 要 条 件 是 它 的 跳跃 链 是 常 返 的 . 


证 显然 ,不 可 约 链 没有 吸收 状态 ,不 然 的 话 , 状 态 空间 只 有 一 个 状态 ,没有 讨论 的 必要 了 . 
因此 对 一 切 i EE,g;>0, 我 们 要 证 明 
的 二 S (n) 
上 lh pi(t)dt 0 2 (5) 


这 里 ("是 跳跃 链 的 n 步 转移 概率 ,由 (5) 及 定理 4.2 即 得 结论 .由 于 py(1)= 2 fy (1)， 
为 了 得 到 (5) 式 只 需 证 明 





oo (7) 
| Dd= ,n>0. (6) 
了 
现在 用 归纳 法 证 (6) 式 .2 =0 时 易 算 得 : 
| 及 (dt= 的 | e dt = 号 
0 di gj dj 


设 (6) 式 对 x 成 立 , 则 
fy vd = 3) ‘er le danfh (s)ds jd: 
0 ki "0 0 


一 = Den], fi (s as| e q(t dr 


oo 


(n) rn 1) 
= | fi (s)ds= 2 a | 图 
ki qi Qj gd) ' 
定理 4.6 规则 不 可 约 链 为 正常 返 的 充 要 条 件 是 方程 组 
0 =0, i€E (7) 


有 非 零 非 负 收 敛 解 .这 时 方程 组 (7) 的 非 零 非 负 收敛 解 与 平稳 分 布 只 差 一 个 常数 . 
证 ” 先 证 必要 性 .这 时 |x; ,iEFEE| 为 平稳 分 布 : 


r= Dpu(t), t>0, i€EE. 
取 上 式 的 拉 普 拉 斯 变换 得 


= Dy migu(h)， A>0, iEE, (8) 


由 向 前 方程 我 们 有 
(A+ q;) $;(4)= 6; + >) $i (A) gg, 


kj 
将 上 式 乘 以 x; ,再 对 i 相 加 得 
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(A+g;) 2 ry (2) = + > 2 rgbia (2) gy, 


大] 


.将 (8) 式 代入 上 式 
(A+g;) Rt 2 Nay, 
整理 一 下 即 得 
2 mgy =0, jE€EE. 


因此 ,| rzE 瓦 | 是 方程 组 (7) 的 非 零 非 负 收 和 敛 解 . 
再 证 充分 性 . 设 |u;,i€ E| 是 方程 组 (7) 的 非 零 非 负 收 伍 解 . 先 用 归纳 法 证 明 对 -… 切 7 之 0， 


2 jEE, i120, (9) 
更 


这 里 ff? )(t ) = pe Fs 
| fe 
2 昂 汉 > f(s)gve % ds, n>0. 


{ 天 7 
易 见 n=0 时 (9) 成 立 : 
2 f(t)= we Au, jEE, /10. 
设 (9) 式 对 n 成 立 , 则 
Sf (2) = we 十 | uf ) ge q(t- s) ds 
7 天 7 
we + 上 人 aoe 9 人 ds 
Su :@€ 十 由 人 元 
0 
在 (9) 式 中 取 极 限 ， 由 于 f(z) pi (z), 即 得 
>) wpy (1) <u,, jE€EE, 120. 
再 对 j 相 加 
o> 2 > >) 7 uipy (z) = Zu 7 py (z) = Sas >0, 
k j k 大 ji k 
因此 必须 成 立 等 式 


Dupyli)=u, jEE, i120. 
& 


对 离散 骨架 应 用 离散 时 间 马 尔 可 夫 链 的 结果 , 即 知 链 是 正常 返 的 , 且 u;=( 了) w)xi, 即 ui,i€ 


EE| 与 平稳 分 布 只 相差 一 个 常数 因子 . 口 
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定理 4.5 及 定理 4.6 解决 了 判别 规则 马尔 可 夫 链 为 常 返 .正常 返 及 求 平 稳 分 布 的 方法 .直观 
上 从 规则 链 的 构造 看 ,状态 的 转移 状况 与 跳跃 链 的 转移 状况 是 完全 一 致 的 ,因此 可 以 预料 常 返 性 
对 两 者 是 一 致 的 .但 正常 返 性 涉及 返回 的 时 间 长 短 , 单 由 跳 牙 链 不 足以 掌握 原来 的 链 在 各 个 状态 
上 停留 的 时 间 . 很 自然 ,一般 来 说 正常 返 性 对 两 者 是 不 一 致 的 . 

例 4.1 规则 不 可 约 生 灭 过 程 ” 设 生 灭 过 程 的 密度 矩阵 为 


一 A0 A0 0 0 
Li — (A1+ Ai Ai 0 
0Q=| 0 AL2 -Ah2t+p2) 42 …|， 


其 中 ;>0,i 宇 0,4;>0,i 宇 1. 这 时 跳跃 链 是 不 可 约 的 随机 游 动 ,其 转移 概率 矩阵 为 : 











0 1 0 0 
Ai A1 
_ Ai1t pi 41 十 Al 
大 2 42 
2 十 A2 A2 十 HK2 





因此 , 生 灭 过 程 也 是 不 可 约 的 .我 们 假设 生 灭 过 程 是 规则 的 , 即 满足 条 件 


1 — (#4 fan 人 | 
-一 十 一 十 一 一 一 一 十 二 "十 一 一 一 一 一 et 
之 a PE 


由 定理 4.5 及 第 二 章 例 4.4, 生 灭 过 程 为 常 返 的 充 要 条 件 是 


2 PIT ”Apr 
和 11 


为 判别 是 否 正 常 返 ,考察 线性 方程 组 (7) : 


和 
1zn_ 1 (Ant pra)znt pn+izn+1=0, n 宇 1. 


二 OO 


这 方程 组 即 为 : 


LnzZn An-1Zn-1=0, n 之 1， 


> A 1 
ly 1 一 n 宇 1. 
Hn Ar ”HI 





Zn 


为 使 这 方程 组 有 非 零 非 负 收敛 解 ,必须 且 只 需 
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这 也 就 是 生 灭 过 程 为 正常 返 的 充 要 条 件 , 且 这 时 平稳 分 布 为 : 


0， 
i mr = n>1. 口 ] 
po Ho pn 


我 们 还 可 利用 离散 时 间 情 形 的 相应 结果 ,讨论 常 返 不 可 约 链 的 不 变 测度 . 
定理 4.7 常 返 不 可 约 链 有 不 变 测 度 , 且 不 计 一 个 常数 因子 时 不 变 测度 是 唯一 的 . 
证 由 于 每 个 离散 骨架 都 是 常 返 不 可 约 的 ,因此 有 非 零 非 负 数列 | u;,iE EI( 实 际 上 每 个 


uj = 2 uips(1), jE€EE. 
我 们 要 证 明 | ,iE EE| 是 不 变 测度 , 即 对 一 切 t>0 满足 
uj = 2 uipslt), 1Z0 (10) 
(4=0 时 (10) 式 显然 成 立 ). 先 证 :二 n/m 为 有 理 数 时 (10) 式 成 立 ， 
对 二 叔 架 ,存在 非 零 非 负数 列 | ,iE EE| 使 得 对 一 切 之 1 
= Dnpy(E), jEEF. (11) 
取 k=m, 则 : 
ij = 2 zpi(1), jEE. 


对 1 上 骨架 应 用 离散 时 间 人 情形 的 结果 可 知 , |x;,iEEI 与 i 和 4;,iEEl 只 相 闫 一 个 常数 因子 ,因此 
(11) 式 中 将 1 x;,iEEI 换 成 fu,,iEEl 也 成 立 .特别 取 有 =n, 即 知 (10) 式 对 1 二 n/m 成 立 . 
对 任意 的 上 >0, 取 一 列 有 理 数 i, 一 t ,在 


u; = 2 upslt,), jE€EE 
中 令 n 一 吕 即 得 
ww 之 2 uipslt), jE€EE. 
车 有 一 个 7 及 tio>0 使 
w> 2 uipslto), 
取 有 理 数 ,> 1 注意 到 p,(+ -to) >0, 必 须 有 
Wj = 2 uips(r)= > (Dj uipalto))py(r- to)< 2 upyr 10) <, 


定理 4.8 对 规则 常 返 不 可 约 链 ,方程 组 


2 x45 =0, jEE (12) 
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有 非 零 非 负 解 , 且 解 即 为 不 变 测度 . 

证 ”由 定理 4.7, 存 在 不 变 测 度 和 ui ,i€E | .照搬 定理 4.6 的 必要 性 的 证 明 (那里 只 用 到 向 前 
方程 ), 可 证 (wu;,iE€ El 为 (12) 的 解 . 

现在 设 iu,i€EEl 为 (12) 的 非 零 非 负 解 ,我 们 只 要 证 明 | ui,iE€ El 是 不 变 测度 , 即 对 一 切 
1 >0 满 足 (10) 式 . 仍 照搬 定理 4.6 中 充分 性 的 证 明 的 前 半 部 分 ,可 得 


SS ptt I EE “E>, 


.我 们 要 证 明 上 式 中 全 部 成 立 等 号 . 
首先 指出 ,对 一 切 i EE,u;>0. 事 实 上 ,这 时 跳跃 链 是 常 返 的 不 可 约 链 , 且 由 (12) 式 ， 


2 (uig) rs = wg;, jE€E 


(我 们 不 考虑 状态 空间 仅 由 一 个 吸收 状态 组 成 的 平凡 情形 ) ,因此 对 一 切 i uiqi >0,u;>0. 
其 次 ,对 任意 的 :>0, 定 义 


py = pi(t), i,j€EE, 
则 5 之 0, 2 By<1. 若 有 i 使 2 5j<1, 我 们 补充 一 个 状态 8, 规定 Bw =1,54=1- 之 而， 
jiEEE. 这样, 我 们 得 到 一 个 状态 空间 为 疙 = 下 U191, 以 (下 )ijeE 为 转移 概率 矩阵 的 离散 时 间 马 
尔 可 夫 链 . 若 状 态 i EE 使 ps >0, 则 i 在 这 个 链 中 为 非常 返 状 态 ， ,54<%. 但 易 用 归纳 法 
验证 ,i,jEE 时 
BY = 0 ( nt ) 9 
特别 ,8 = pi(nt). 因 此 ,>) pi(nt)<%m. 这 与 链 为 常 返 的 相 巴 盾 .所 以 只 能 对 一 切 i€ 上 ， 
2 85=1, 即 | 
2 wpilt) = ui, i€EFE. 口 ] 
定理 4.9 规则 马尔 可 夫 链 是 可 配 称 的 充 要 条 件 为 存在 不 全 为 零 的 非 负 数列 | wiiE 王 | ,使 


得 
Uiqi; = 29 i,jEE. (13) 
证 必要 性 是 容易 的 . 因为 这 时 存在 不 全 为 零 的 非 负数 列 1u;,iE€ | 使 得 
uipi(t)= upi(t), :>0,， i,jEE. (14) 


当 i 关 j 时 ,将 (14) 式 在 t=0 点 求 导数 即 得 (13). 
充分 性 .现在 存在 不 全 为 零 的 非 负 数列 |u,iE | ,使 得 (13) 式 成 立 . 为 证 (14) ,只 要 证 明 
p(t) 的 拉 普 拉 斯 变换 各 (4) 满 足 


ub (A) = uipbii(A), 和 A 之 0， i,jEE. (15) 
yp 


注意 到 ,由 定理 3.1 及 3.2， 


(4A)= > $4 (A), 











(0) gd 0 
$9) (4)= 0 (16) 
$0)= 之 /有 (= DN (0: (17) 


因此 ， 为 证 (1$) ,只 需 证 明 ,对 一 切 7 之 0， 
up A)= up 4), 2>0, i,jEE. ; (18) 
我 们 用 归纳 法 证 (18).n=0 时 ,(18) 由 (16) 即 得 : 


A 05 


up (4) = a 


up (4). 
设 (18) 式 对 成立, 则 两 次 使 用 (17) 式 ,得 出 
a — a 
ug (A)= > i 人 
- (2) 4 gs eu = up (A). 口 
例 4.2 规则 生 灭 过 程 而 攻关 导 竹 册 直 人 
uo=1,， a i 之 1， 
易 见 对 一 切 i 宕 0 
Uidi,ji+1l™ Ui+ldit+l,i* 
从 而 (13) 式 成 立 . 若 又 有 >, < %, 则 过 程 是 可 逆 的 ， 口 
连续 时 间 马 尔 可 夫 链 在 实际 中 有 广泛 的 应 用 .下 面 我 们 给 出 一 些 例 子 ,着 重 表明 连续 时 间 马 
尔 可 夫 链 在 运筹 学 (排队 论 、 系 统 可 靠 性 等 ) 中 的 应 用 .在 这 些 例子 中 ,连续 时 间 马 尔 可 夫 链 是 适 
用 的 数学 模型 ,对 这 些 链 的 性 质 的 讨论 是 必要 的 基础 性 工作 .在 此 基础 上 ,就 可 按 运筹 的 目标 作 
出 相应 的 决策 .这 里 主要 讲述 如 何 建立 模型 ,并 作 基 本 的 讨论 .关于 如 何 决策 的 深入 讨论 请 参阅 
运筹 学 的 书籍 . 
例 4.3 排队 系统 MA/M/S 在 排队 系统 M/M/S 中 ,顾客 来 到 的 时 间 间 隔 服 从 指数 分 
布 ,参数 为 ,服务 时 间 也 服从 指数 分 布 ,参数 为 y ,有 S 个 服务 员 , 按 先 来 先 服务 的 原则 接待 顾客 . 
我 们 以 X, 表示 时 刻 t 系统 中 正在 接受 服务 的 及 正在 排队 等 候 服务 的 顾客 总 数 , 即 队伍 长 
度 .在 M/M/S 系统 中 ,|X,,t 宇 01 是 一 个 连续 时 间 的 马尔 可 夫 链 .事实 上 ,如 果 已 知 现在 系统 中 
有 上 个 顾客 :X,。 = 上, 则 在 将 来 的 时 刻 :( > zo) 的 队伍 长 度 X, ,除了 A 之 外 ,还 取决 于 下 列 因素 : 
(1) 现在 正在 接受 服务 的 min(k,S) 个 顾客 在 (zo ,zt] 内 结束 服务 而 离 去 的 个 数 ;(2) 在 (zo,zt] 内 
新 来 到 的 顾客 数 ;(3) 时 刻 to 之 后 才 开 始 接受 服务 的 顾客 在 (to,t] 内 结束 服务 而 离 去 的 个 数 .由 
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指数 分 布 的 无 后 效 性 ,这 三 个 因素 都 与 时 刻 to 之 前 的 队伍 长 度 无 关 . 我 们 先 计算 密度 和 矩阵. 
若 在 时 刻 上 有; 个 顾客 在 接受 服务 , 则 在 (上 ,上 +Atj 内 有 一 个 顾客 结束 服务 的 概率 为 zwAi 
+o(At), 多 于 一 个 顾客 服务 完毕 的 概率 为 o(At) .由 于 顾客 的 来 到 与 正在 接受 服务 的 顾客 结束 
服务 的 情况 相互 独立 ,因此 在 (+， a 
of(At) .这样 ,密度 矩阵 Q 为 


一 人 A 0 0 … 0 0 0 
x 一 (+A) 入 0 … 0 0 0 
0 24 —-(A+2u) A … 0 0 0 0 
0 0 0 0 … Sx -(A+Sp) A 0 


0 0 0 0 … 0 Sp = 六 芒 


从 第 (S+1) 行 开始 每 一 行 都 相同 ,因为 至 多 只 有 S 个 顾客 在 接受 服务 .注意 到 对 角 线 上 的 元 素 
是 有 界 的 ,这 是 一 个 规则 不 可 约 生 灭 过 程 .跳跃 阵 尺 为 











0 1 0 0 
Ek A 0 
Atp Atp 
6 24 A 
A+2p A+t+2p 
Sp A 
: RI ee 
Sn A 
a WU IR 


记 p=4/Sp, 应 用 例 4.1 的 结果 可 得 

(1) p>1 时 , 链 为 非常 返 的 ; 

(2) p=1 时 , 链 为 零 常 返 的 ; 

(3) p<1 时 , 链 为 正常 返 的 , 且 这 时 平稳 分 布 为 


去 (和 ) 二 -0 .5S 
i! 4 po” 全 3 » 
| 半生 于 
过 | 二 | 一 ，i=S+l 
[|( 训 | Ho” 


其 中 
人们 训 佑 ) 


Pp 宇 1 时 , 链 为 非 正 常 返 的 ,对 一 切 ,ri=0. 这 表明 队伍 长 度 将 无 限 增加 , 趋 于 无 穷 .o<<1 
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时 ,时 间 充 分 长 之 后 ,队伍 长 度 的 分 布 趋 于 稳定 :队长 为 让 的 概率 为 go= MA/Syw 称 为 来 往 强度 ， 
它 是 反映 系统 稳定 性 的 重要 指标 . 从 直观 上 看 ,4 是 单位 时 间 内 来 到 的 顾客 平均 疹 , 而 Sy 可 看 
作 ( 全 部 服务 员 都 工作 时 ) 单 位 时 间 内 能 服务 完毕 的 顾客 平均 数 .因为 S 个 相互 独立 的 同 指数 分 
布 (参数 为 ) 的 随机 变量 的 最 小 值 服从 参数 为 Sp 的 指数 分 布 ,S 个 服务 员 都 服务 时 ,服务 完 一 
个 顾客 的 平均 时 间 为 1/Sw , 它 的 倒数 就 是 单位 时 间 内 服务 完毕 的 顾客 数 .所 以 p>1, 即 4> Sp 
时 , 越 来 越 多 的 顾客 要 排队 等 候 ,得 不 到 服务 ,队伍 长 度 要 趋 于 无 穷 .o<1 时 ,服务 能 力 足以 应 付 
来 到 的 顾客 ,系统 是 稳定 的 .只 是 p=1 的 情形 直观 上 较 难 判断 . 
在 S=1, 即 单个 服务 员 的 情况 下 ,o= AM <I 时 平稳 分 布 是 几何 分 布 : 


Axi= (1-p)p’', 1 之 0. 


此 时 ,一 个 顾客 到 达 服 务 站 ,服务 员 空 着 立刻 能 得 到 服务 的 概率 为 ro=1-p, 而 遇 到 不 少 于 ”个 
顾客 在 服务 站 中 的 概率 为 扩 . 因 此 来 往 强度 较 小 时 系统 遇 到 长 的 队伍 的 可 能 性 是 很 小 的 口 

例 4.4 消失 系统 如 果 在 MAM/S 系统 中 没有 地 方 给 顾客 排队 等 待 , 当 一 个 顾客 来 到 服 
” 务 站 ,发现 全 部 服务 员 都 忙 着 服务 ,没有 一 个 空 着 时 ,他 就 立刻 离 去 ,顾客 “消失 ”了 .这 样 的 系统 
称 为 消失 系统 .在 电话 线路 中 就 遇 到 这 种 情况 .假设 某 电 话 总 机 总 共有 S 条 外 线 , 来 到 的 顾客 就 
是 分 机 要 求 接 通 外 线 的 呼唤 .如 果 这 时 有 空 着 的 外 线 , 就 可 占用 空 着 的 线路 通话 ,通话 的 时 间 就 
是 服务 时 间 . 如果 S 条 线路 都 已 占 满 ,那么 要 求 通 外 线 的 用 户 只 能 挂 断 电话 ,呼唤 即 “ 消 失 ” 了 . 
显然 ,在 消失 系统 中 没有 在 等 待 的 顾客 ,这 时 队长 过 程 X, 表示 时 刻 1 正在 接受 服务 的 顾客 数 ( 或 
正在 服务 的 服务 员 个 数 ). 对 情况 作 类 似 的 分 析 表 明 |X,,t 宇 01 仍 然 是 一 个 马尔 可 夫 链 , 它 有 
S+1 个 状态 :10,1,…,S} ,密度 矩阵 CQ 为 


A A 0 0 

kx —(A+p) A 0 

0 24 —(A+2p) A 

0 Ee 3 Ee Sa (S—1)p -[A+(S—-1)x] A 
0 a ge Se A 0 Sy -Sp 


这 是 一 个 有 限 不 可 约 生 灭 过 程 ,从 而 必定 是 正常 返 的 ,存在 平稳 分 布 .由 例 4.1 的 结果 可 知 ,平稳 
分 布 为 
-十 (和 /> 二 2) a 

这 就 是 电话 工程 中 有 名 的 爱 尔 朗 (Erlang) 公 式 . 在 系统 运行 充分 长 时 间 之 后 ,可 以 认为 在 任 一 时 
刻 , 占 用 i 条 线路 的 概率 为 x, ,全 部 线路 被 占用 的 概率 为 

A 

a ) 这 gl ) 

这 也 就 是 用 户 接 不 通 外 线 ,电话 呼唤 随即 消失 的 概率 ,因此 也 称 为 消失 概率 .消失 概率 大 ,电话 难 
打通 ,用 户 不 满意 ,要求 增加 外 线 线路 ;增加 了 较 多 的 线路 ,电话 容易 打通 ,但 空闲 的 线路 数 也 增 
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加 了 ,使 用 效率 低 , 经 济 上 不 合算 .因此 在 设计 线路 时 ,要 按照 爱 尔 朗 公式 ,综合 考虑 各 种 指标 和 
费用 ,才能 确定 线路 的 条 数 .所 以 , 爱 尔 朗 公 式 在 电话 工程 中 起 重要 的 作用 . 口 

例 4.5 排队 系统 MA/M/c 在 排队 系统 MA/M/S 中 ,改变 只 有 S 个 服务 员 的 假定 ,假设 
有 无 穷 多 个 服务 员 ,因此 顾客 随 到 随 服务 , 毋 需 等 待 ,这 样 的 系统 记 作 MAM /co. 初 看 起 来 ,有 无 
穷 多 个 服务 员 的 假定 似乎 是 不 现实 的 ,然而 这 个 假定 的 实质 是 顾客 随 到 随 服务 .假如 那些 由 顾客 
自我 服务 的 部 门 就 是 如 此 ,从 这 个 意义 上 说 ,有 无 穷 多 个 服务 员 就 是 没有 服务 员 . 不 仅 在 排 趴 现 
象 中 可 以 遇 到 M/A/M/% 系 统 , 在 生物 学 家 研究 鸟 类 迁徙 过 程 时 也 会 磁 到 它 . 设 某 种 乌 类 飞信 某 
地 区 的 时 间 间 隔 服 从 指数 分 布 .每 只 鸟 在 该 地 区 停留 的 时 间 也 服从 指数 分 布 .把 停留 时 间 看 作 服 
务 时 间 ,我 们 遇 到 的 实际 上 就 是 MAM/ 吕 系统 ,该 地 区 中 这 种 鸟 的 个 数 就 是 MAM/ 吕 中 的 队伍 
长 度 . 当然 还 可 以 有 别 的 表面 上 很 不 同 的 现象 归结 为 同一 个 系统 . 另 一 方面 , 当 服 务 员 个 数 S 很 
大 时 ,M/AM/%% 也 可 作为 MAM/S 的 一 种 近似 .大 家 知道 ,在 数学 上 ,讨论 无 限 的 情形 往往 比 讨 
论 有 限 的 情形 更 方便 ,得 到 更 简单 的 公式 . 

现在 以 X, 表示 时 刻 t 正在 接受 服务 的 顾客 数 , 则 |X, ,i 之 01 就 是 MAM/% 的 队长 过 程 , 它 
同样 也 是 一 个 马尔 可 夫 链 ,密度 矩阵 @ 为 


A A 0 0 0 
x —(A4+p) A 0 0 
0 2p — (A+24) A 0 
0 A 


0 34 —(A+3p) 
由 定理 3.5 易 见 ,这 是 一 个 规则 密度 矩阵 . 因此 ,|X, ,之 0| 仍 是 一 个 规则 不 可 约 生 灭 过 程 . 由 例 
4.1 的 结果 , 因 > 二 <o ,过 程 是 正常 返 的 , 且 平 稳 分 布 为 





nl! 


z= 让 [全 je ， ;过 0， 
i \p 


即 参数 为 4/y 的 泊 松 分 布 . 
对 这 个 过 程 还 可 解 向 前 方程 , 求 出 转移 概率 函数 : 
ee 
pas(t)=Api; 1(t)— Atjp) pst) t(j+1)pps(t), j>1. 
令 Bi(1,z)= 之 -0 ps(t)j, 我 们 有 


a@. 9 中 
3 Az- DD- p(z- 1) 


dz 
证 
多 
2 = ~—%， 


A 


9@B; _ dPias 9@Biau _ _ (z—1) po 
at dasa aud Kz* 3 


作 代 换 
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偏 微分 方程 化 为 最 简单 的 形式 : 


所 以 
Di(s,u)=e®(s), 
其 中 @ 为 某 待定 的 函数 . 回 到 变量 : 及 xz: 
DB(t,z)=e Bz -1)e *], 
由 初始 条 件 @,(0,z) = zi,zi=e#*@(z 一 1), 可 解 得 


eC a 区 和 


Di(t,z)=[1+(z—1)e wj]iexp 


展开 成 客 级 数 ,比较 系数 可 得 





A ltl) 
. 





min(i,j 


) 一 大 一 大 — pt Vit+j-2k 
eS Oe ed ee eb Re 
pi(t) PE (2) (j—&)! exp 





ey | 
A. s 
特别 , 若 Xo=0, 则 


计生 Ge-*) | exp 


P(X =7) = 





ey 
2 





» 


也 是 泊 松 分 布 .在 此 式 中 令 一 co 即 得 平稳 分 布 ， 口 

例 4.6 机 器 修理 问题 设 有 M 台 机 床 ,S 个 修理 工 ,S 委 M. 机 床 或 者 在 工作 ,或 者 已 损 
坏 而 等 待 修理 .机 床 损坏 后 ,如 有 修理 工 空 着 ,那么 立即 对 它 修理 ,否则 要 等 到 有 一 个 修理 工 有 空 
之 后 再 来 修理 .损坏 的 机 床 修 理 好 即 重新 开始 工作 .假定 时 刻 t 正在 工作 的 每 台 机 床 在 (t,t++ 
Al) 中 损坏 的 概率 为 At + o(Az), 即 机 床 正常 工作 的 寿命 服从 参数 为 4 的 指数 分 布 ;时 刻 了 上 正 
在 修理 的 每 台 机 床 在 (1 ,t+ Az) 中 被 修好 的 概率 为 kwAt + o(A), 即 修理 时 间 服 从 参数 为 w 的 
指数 分 布 ; 各 机 床 的 状况 相互 独立 . 

以 X, 表示 时 刻 1 不 在 工作 的 机 床 数 , 根 据 上 面 的 假定 ,1X,,t 之 01 是 一 个 马尔 可 夫 链 ,有 M 
+1 状态 :10,1,… ,Mj ,密度 矩阵 Q 为 | 


-MA MA 0 本 a 
A -[(M-1)Aa+p]. (M-— 1) 0 a pr 0 
0 呈 Su -[(M-S)Aa+Su] (M-S)X4 … 0 
0 ons Pe Sp —(A+ Sp) 人 0 
0 了 a 


0 SU -Su 
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这 是 正常 返 的 有 限 不 可 约 生 灭 过 程 .平稳 分 布 满足 下 列 方程 组 ， 


— MAzo+ jz1=0, 
(M-iti)az1-[(M-iAtig]zt(itl)pzr=0, i=1,.…,S-—1, 
(M-—it+1)Az-1-[(M-i)A+ Spl]z;+ Spzi+1=0, i=S,…,M-1, 


AZM-1— Spuzm =0,， 


解 得 
oj 
让 er Ee 
"(s+ Do (2)| 





在 S=M 时 ,注意 到 ”0% :4 ahh 


即 为 二 项 分 布 .当然 , M 个 修理 工 应 付 M 台 机 床 是 不 经 济 的 . 怎样 合理 地 配备 修理 工人 要 作 仔 
细 的 分 析 . 
5)”, kr 是 不 在 工作 的 机 床 的 平均 台数 ,因此 定义 


机 床 平均 利用 率 =1- 南 2 pn. 


当 不 工作 的 机 床 数 上 E 委 S 时 ,修理 工 的 利用 率 为 k/S; 不 工作 的 机 床 数 超过 S 时 ,全 部 修理 工 都 
在 修 机 床 ,利用 率 为 1, 因此 定义 


修理 工 平均 利用 率 = > i > 


k=S+1 


下 表 提 供 的 数字 有 助 于 我 们 作 进 一 步 的 分 析 . 







0.872 1/0.715 1 0.385 3/0.963 3 | 0.199 4/0.996 9 
0.642 3/0.999 8 0.133 3/1 0.066 7/1 


S=1,p=4/p 机 床 平 均 利用 率 /修理 工 平均 利用 率 




















从 上 表 中 可 看 出 ,机 床 平均 利用 率 与 修理 工 平均 利用 率 是 相互 矛盾 的 .通常 在 p 确定 之 后 
(p 取决 于 机 床 及 修理 工 的 水 平 ), 应 根据 各 项 指标 与 费用 适当 地 决定 配备 修理 工 的 数量 . 
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0.881 
JE， 934 
0 994 


p=0.45 














这 个 表 提 供 的 数据 是 很 有 启发 性 的 .尽管 修理 工 与 机 床 数 的 比例 保持 不 变 ,但 随 着 机 床 数 的 - 
增加 ,修理 工 平均 利用 率 有 明显 的 提高 .所 以 修理 工 的 配备 方式 也 是 重要 的 .分 组 配备 不 如 统一 
使 用 效率 高 .这 个 道理 直观 上 也 是 容易 想到 的 ,但 我 们 提供 了 具体 的 计算 方法 ,从 而 有 确切 的 数 
据 作 依 据 .在 修理 工 平均 利用 率 接近 于 1 时 ,再 过 分 地 集中 使 用 修理 工 意义 就 不 大 了 .我 们 的 数 
据 也 为 如 何 分 组 配备 修理 工 提供 了 依据 口 

例 4.7 ”系统 可 靠 性 问题 设 一 个 系统 仅 由 一 台 机 器 组 成 , 它 正常 工作 的 时 间 服 从 参数 为 
4 的 指数 分 布 的 随机 变量 .机 器 损坏 后 即 进行 修理 ,修复 的 时 间 是 服从 参数 为 y 的 指数 分 布 的 
随机 变量 ,修复 后 即 正常 工作 .这 实际 上 是 机 器 修理 问题 的 最 简单 的 情形 :一 部 机 器 及 一 个 修理 
工 .系统 正常 工作 的 概率 为 


ro =i 

称 为 系统 的 有 效 度 . 有 效 度 有 下 述 有 趣 的 直观 解释 .机 器 平均 正常 工作 的 时 间 为 1/4 ,平均 修理 
时 间 为 1/w .因此 ,一 个 工作 一 修理 的 周期 的 平均 长 度 为 1/A +1/x ,其 中 工作 时 间 所 占 比 例 恰 为 
(1A4)A(1AX+1/p)= pA(A+p), 即 有 效 度 .如 果 一 个 系统 由 台 机 器 组 成 ,每 台 机 器 的 运转 状 
况 同 上 , 且 各 台 机 器 的 状况 相互 独立 ,那么 这 就 是 n 台 机 器 及 n 个 修理 工 的 机 器 修理 问题 .这 时 . 
系统 的 有 效 度 是 n 台 机 器 全 在 工作 的 概率 


n 
By (> | 


它 等 于 各 台 机 器 的 有 效 度 的 乘积 ,显然 这 是 独立 性 假设 的 结果 . 
现在 设 一 个 系统 由 n 台 不 同性 能 的 机 器 组 成 ,第 i 台 机 器 的 工作 时 间 服 从 参数 为 4; 的 指数 
分 布 ,修理 时 间 服 从 参数 为 y; 的 指数 分 布 ,各 台 机 器 的 状况 仍 相互 独立 .我 们 仍 要 求 系统 的 有 效 
度 , 即 全 部 机 器 都 在 工作 的 概率 .为 简单 起 见 , 我 们 只 对 n =2 作 计 算 . 
规定 下 列 四 种 状态 : “0 表示 两 台 机 器 都 在 工作 ;“1” 表 示 第 一 台 机 器 损坏 在 修理 ,第 二 台 在 
工作 ; “2 表示 第 一 台 在 工作 ,第 二 台 损坏 在 修理 ;“3? 表 示 两 台 机 器 均 损坏 在 修理 .以 X, 表示 时 
刻 ! 系统 的 状态 , 则 |X,,t 宇 0| 为 具有 上 述 四 个 状态 的 马尔 可 夫 链 ,密度 矩阵 @ 为 
(41+ 4A,) A1 A2 0 
AI1 — (pi1+ 42) 0 42 
A2 0 —(p2+ A1) Al 
0 AL2 Ll — (pi1+ p2) 
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平稳 分 布 满足 方程 组 : 
(A1+ A2)z0= piz1+ p222, 
(jp1+ X42)21= AZo t+ J223, 
(pj2+ A1)z2 = A zor J1z3, 
(p11+ 2)z3= A2z1 + AlZ2. 
易 见 方程 组 有 解 : | 
z0= Hip2， Zi=Aip2, Zz2 二 A2NKI， Z3 二 AIA2， 


我 们 要 求 的 有 效 度 为 


Ai ja 
Ai1t+ HAIA2 十 A2 


一 般 地 ,系统 由 n 台 机 器 组 成 时 ,有 效 度 为 








To 


i 
i=1 Ai 二 Ai 
它 同 样 是 各 台 机 器 的 有 效 度 的 乘积 ,其 中 的 道理 是 一 样 的 . 口 

例 4.8 停工 检修 问题 ” 设 一 个 车 间 里 有 n 部 机 器 ,每 部 机 器 正常 工作 的 时 间 都 服从 参数 
为 4 的 指数 分 布 , 且 各 部 机 器 的 工作 状况 相互 独立 .如 果 机 器 损坏 了 上 部 (1 全 km), 为 了 进行 
修理 ,必须 全 车 间 停 工 ,而 且 修理 的 时 间 服 从 参数 为 y 的 指数 分 布 ,与 & 无 关 . 现 在 的 问题 是 如 
何 决定 这 个 , 当 损 坏 了 上 部 机 器 时 就 停工 检修 ,使 得 全 车 间 的 生产 率 最 高 , 即 在 工作 的 机 器 的 
平均 台数 最 多 . 

令 X 为 时 刻 上 损坏 的 机 器 数 .由 假设 ,|X,,t 之 0} 为 马尔 可 夫 链 ,有 有 +1 个 状态 :10,1,…， 
&+ ,密度 矩阵 Q 为 


一 mA mA 0 ‘os 5 0 
0 —(m—1)A (mo—1)4 





T0 一 


0 —-(m-k+1)A (m-k+1)A 


p 0 0 ee ee -Jy 
这 里 只 需 注意 ,在 损坏 了 上 部 机 器 之 后 ,经 过 修理 即 由 状态 进入 状态 0 .平稳 分 布 满足 方程 组 
— mAzo + pzx =0, : 


(m—itl)Ahz_1—-(m-i)Az;=0, i=1,…,k-1, 
(m—k+1)Az-1— pz =0, 


由 此 解 得 : 
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Ti i=1,…,k—1, A 0 
&-1 1 
| 家 
工作 着 的 机 器 的 平均 台数 为 
A, =mrxot (m—1)xit+(m—-k+1)ra-i 
天 一 上 二 六 
1 A 
> : 





我 们 要 选取 & ,使 At 达到 最 大 . 


iA,k 守 11 具有 下 列 性 质 :车 4 人 At:l, 则 Ap > Al+,,v 之 2. 事 实 上 ,Ai 之 Ar+1 即 


天 一 1 


2 


7 一 大 一 7 一 
二 
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i=0 m1 
kt+v-l 1 A 
<k 之 pe 

若 

pa 1 

a 

即 AI 过 A，, 则 Ai=maxkA ,应 取 有 三 1; 
若 
1 A 3m—2 


mn ln 


即 Al 达 A,,A, 宇 A;, 则 A, = maxAs ,应 取 k =2; 
一 般 地 , 若 





| A Ey RE 
ED a i 2 一 -1Sj 委 m -2， 
i=0 


a ~、 . 
m-j; Tm-i py m-j-l 


即 Al<As<*…<Ajil 之 Aj+2, 则 Aj+1= maxsA4 ,应 取 k= +1; 
最 后 , 若 


7 一 2 


SS 
>(m-D)- 之 


i 
io0m 1 


即 AI< 局 <…<A, 则 A =maxiA4, 应 取 k=m. 口 
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习 题 

4 一 1. 证 明 : 有 ea 个 状态 的 不 可 约 链 的 密度 矩阵 的 秩 为 上 二 1. 

4 一 2. 对 规则 不 可 约 链 ,证 明 : 

(1) 车 supi9gi< co , 且 链 为 正常 返 的 , 则 跳跃 链 也 为 正常 返 的 ; 

(2) 若 inf;q; >0, 且 跳跃 链 为 正常 返 的 , 则 链 为 正常 返 的 . 

4 一 3. 设 在 生 灭 过 程 中 jy, = n,n 之 1. , 

(1) 车 4,=n+2,n 之 0, 则 链 为 非常 返 不 可 约 的 ; 

(2) 车 4 二 n+1,n 实 0, 则 链 为 零 常 返 不 可 约 的 ， 

(3) 若 4, = 二 max(n 一 1,1),n 守 0， 则 链 为 正常 返 不 可 约 的 ， 求 其 平稳 分 布 ， 

4 一 4. 设 在 生 灭 过 程 中 ,4, A>0,n 实 0， Ln 二 n,n 之 1, 则 链 为 正常 返 不 可 约 的 , 且 平 稳 分 
布 是 参数 为 4 的 泊 松 分 布 .车 以 平稳 分 布 为 初始 分 布 , 则 (0,1] 内 的 死亡 次 数 服从 参数 为 At 的 泊 
松 分 布 . 

4 一 5. 设 在 生 灭 过 程 中 ,= nA +6,n 之 0,4,6>0,p = np,n 之 1,y>0, 则 

(1) >A 或 =A<S 时 , 链 为 非常 返 的 

(2) = 之 6 时 , 链 为 零 常 返 的 ; 

(3) < Ap 时 , 链 为 正常 返 的 , 且 这 时 平稳 分 布 为 


6/A 
天 
A A A pk 


4 一 6. 在 排队 系统 MA/M/1 中,， 当 顾客 来 到 时 看 见 队长 超过 a(>1) 时 ,以 概率 p oa 
加 排队 ,以 概率 1 一 pp 离 去 (0<p<1), 则 队长 过 程 |X,,t 汪 0| 为 不 可 约 马 尔 可 夫 链 , 试 讨论 它 

4 一 7. 一 个 汽车 加 油 站 每 次 只 能 给 一 辆 汽车 加 油 ., 加 油 时 间 服 从 参数 为 J 的 指数 分 布 ,各 辆 
和 4 的 泊 松 过 程 来 到 ,但 当 一 辆 汽车 来 到 加 油 站 
发 现 站 中 已 有 nn 辆 汽车 时 ,以 概率 -二 留 下 来 排队 . 记 X 为 时 刻 t 加 油 
站 中 汽车 的 数目 ee ean :可 夫 链 , 求 其 平稳 分 布 . 

4 一 8. 设 在 排队 系统 MAM/1 中 再 添加 一 个 服务 员 , 但 仅 在 队长 超过 a 时 , 才 让 两 个 服务 员 
参加 服务 , 当 队 长 降 到 a 时 就 撤 掉 一 个 服务 员 . 记 X, 为 时 刻 的 队伍 长 度 , 则 |X,,t 滨 0| 为 不 可 
约 马 尔 可 夫 链 , 试 讨论 它 的 性 状 . 

4-9. 设 在 排队 系统 M/M/2 中 ,来 往 强度 po= MMX2p<1. 现 在 用 一 个 服务 员 代替 原来 的 两 
个 服务 员 ,但 新 的 服务 员 的 服务 速度 比 老 服务 员 快 一 倍 , 即 在 新 的 M/M/1 系统 中 服务 时 间 服 
从 参数 为 2jp 的 指数 分 布 . 试 比较 这 两 个 系统 的 平均 队长 ,以 说 明 这 个 措施 的 效果 如 何 . 

4 一 10. 一 个 出 租 汽车 服务 站 上 ,出 租 汽车 按 参 数 为 1 的 泊 松 过 程 到 站 候 客 ,顾客 按 参 数 为 
Ap 的 泊 松 过 程 到 站 候车 ,这 两 个 过 程 相 互 独立 . 当 一 个 顾客 到 站 时 ,看 到 已 有 两 个 顾客 在 候车 时 ， 
就 立即 离 去 不 参加 排队 (一 辆 车 载 一 位 顾客 ). 设 p=A/1<1, 求 候车 的 顾客 平均 数 及 候 客 的 出 
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租 汽车 平均 数 . 

4 一 11. 设 顾 客 按 参数 为 4 的 泊 松 过 程 来 到 某 服务 部 门 .每 个 顾客 必须 相继 受 两 次 服务 ,两 
次 服务 时 间 相互 独立 , 且 分 别 服 从 参数 为 ki 及 juz 的 指数 分 布 .只 有 在 两 个 服务 台 均 空 闪 时 , 才 
接纳 顾客 .只 要 有 一 个 服务 台 在 工作 ,来 到 的 顾客 就 立即 离 去 . 求 顾客 来 到 时 能 受到 服务 的 概率 . 

4 一 12. 茶 桔 间 有 n 部 车 床 ,每 部 车 床 的 电动 机 的 功率 为 a 千瓦 .一 部 车 床 有 时 开动 着 在 车 
前 ,有 时 关闭 电动 机 , 停 下 来 调换 工件 或 进行 测量 . 假设 在 时 刻 z 车 床 在 车 前 ,那么 在 (1 ,t+ Az) 
内 车 床 停 下 来 的 概率 为 At+ o(At). 若 在 时 刻 上 车 床 停 着 ,那么 么 在 (t,t + Az) 内 车 床 又 开动 起 
来 的 概率 为 JAt + o(At). 假 设 各 部 车 床 的 工作 状况 相互 独立 ,全 车 间 平 均 消耗 电力 多 少 千瓦 ? 

4-13. 在 M 部 机 器 与 M 个 自理 工 的 机 器 修理 问题 中 ,以 X, 记 时 刻 t 不 在 工作 的 机 器 数 ， 
则 |X, ,i 之 0| 为 埃 伦 费 斯 特 扩散 模型 (参见 习题 2-6.). 

4 一 14. 一 个 系统 由 n 个 不 同 的 部 件 串联 而 成 .n 个 部 件 的 寿命 分 别 服从 参数 为 4; 的 指数 
分 布 ,失效 后 的 修理 时 间 分 别 服 从 参数 为 jv 的 指数 分 布 . 若 n 个 部 件 都 正常 工作 , 则 系统 处 于 
工作 状态 . 若 有 某 个 部 件 失效 , 则 系统 失效 . 这 时 修理 工 立即 对 失效 部 件 进行 修理 ,其 余部 件 停止 
工作 . 若 失效 部 件 修复 ， 所 有 部 件 立 即 进 入 工作 状态 ,从 而 系统 重新 处 于 工作 状态 .假设 各 部 件 的 

状况 相互 独立 ， 求 系统 的 有 效 度 (系统 处 于 工作 状态 的 概率 ). 

4 一 15. 一 个 系统 由 n 个 相同 部 件 并 联 而 成 .nn 个 部 件 的 寿命 都 服从 参数 为 A 的 指数 分 布 ， 
失效 后 的 修理 时 间 服 从 参数 为 Ar 的 指数 分 布 .只 要 有 一 个 部 件 在 工作 ,系统 就 处 于 工作 状态 ;全 
部 部 件 失 效 时 ,系统 才 失 效 .假设 只 有 一 个 修理 工 , 当 修理 工 在 修理 一 一 个 失效 部 件 时 ,其 它 失 效 部 
件 必须 等 待 被 修理 . 假设 各 部 件 的 状况 相互 独立 , 求 系统 失效 的 概率 . 

4 一 16. 一 个 冷 贮备 系统 由 世 个 相同 部 件 及 一 个 修理 工 组 成 .开始 时 一 个 部 件 工作 ,其 余部 
件 不 工作 ( 冷 贮 备 ). 若 工作 部 件 失效 ,贮备 部 件 之 一 立即 去 顶 蔡 , 转 为 工作 状态 ,同时 修理 工 立即 
对 失效 部 件 进行 修理 . 当 修 理工 在 修理 某 一 失 歼 部 件 时 ,其 它 的 失效 部 件 必 须 等 待 被 修理 .修好 
的 部 件 或 立即 投入 工作 (如 其 它 部 件 均 已 失效 ) ,或 进入 冷 贮备 状态 (如 已 有 部 件 在 工作 ). 系统 在 
全 部 部 件 失效 时 失效 . 设 n 个 部 件 的 工作 寿命 都 服从 参数 为 A 的 指数 分 布 ,失效 后 的 修理 时 间 
服从 参数 为 / 的 指数 分 布 , 且 各 个 部 件 的 状况 相互 独立 , 求 系统 失效 的 概率 . 

4 一 17. 一 个 冷 贮备 系统 由 两 个 部 件 及 一 个 修理 工 组 成 ,其 中 部 件 甲 比 部 件 乙 有 优先 权 . 优 
先 权 的 含义 是 :(1) 当 失 效 的 部 件 甲 被 修好 时 , 若 部 件 乙 正在 工作 , 则 部 件 甲 立 即 转 为 工作 状态 ， 
部 件 乙 停止 工作 , 转 入 贮备 ;(2) 当 部 件 甲 失效 时 , 若 部 件 乙 正 在 被 修理 , 则 停止 修理 部 件 乙 , 修 - 
理工 转 而 先 修理 甲 .部 件 甲 与 乙 的 工作 寿命 分 别 服从 参数 为 A| 与 4 的 指数 分 布 ,修理 时 间 分 别 
服从 参数 为 pl 与 pe 的 指数 分 布 .假设 两 个 部 件 的 状况 相互 独立 , 求 系统 失效 的 概率 . 

4—18. 一 个 热 贮 备 系统 由 两 个 相同 部 件 及 一 修理 工 组 成 .开始 时 两 个 部 件 都 正常 ,一 个 处 
于 工作 状态 ,一 个 处 于 热 贮备 状态 .处 于 工作 状态 的 部 件 的 寿命 服从 参数 为 1 的 指数 分 布 ,处 于 
热 贮 备 状 态 的 部 件 的 寿命 服从 参数 为 b 的 指数 分 布 .车 贮备 部 件 先 失 效 ,立即 修理 失效 的 部 件 ， 
工作 部 件 继续 工作 . 著 工 作 部 件 先 失效 ,失效 部 件 也 立即 得 到 修理 ,同时 贮备 部 件 转 为 工作 部 件 ， 
其 工作 寿命 也 转 为 服从 参数 为 的 指教 分 布 , 与 它 已 贮备 的 时 间 无 关 . 两 个 部 件 都 失效 (一 个 在 
修理 , 另 一 个 等 待 被 修理 ) , 则 系统 失效 .假定 两 个 部 件 的 修理 时 间 都 服从 参数 为 上 的 指数 分 布 ， 
且 两 个 部 件 的 状况 相互 独立 , 求 系统 失效 的 概率 . 
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$4.1 更 新 过 程 与 更 新 方程 
定义 设 |W,,n 之 1| 为 i.i.d. 随 机 变量 序列 ,W, 之 0, 其 共同 分 布 
F(1)=P(WI<t) 
(注意 ,我 们 使 用 右 连续 的 分 布 函 数 ) 满 足 条 件 
F(0)=P(Wi=0)<1. 


令 
So=0， S,= >) W, n>1, 
j=1 


N(1)=supln:S,t|}= 人 lis < » 
n=1 


(1) 


则 计数 过 程 N = {N(z) ,i 宇 0| 称 为 更 新 过 程 . W, 称 为 N 的 第 n 个 更 新 间隔 (跳跃 间隔 ) 或 第 


次 更 新 的 等 待 时 间 , S, 称 为 第 n 次 更 新 时 刻 , W, 的 分 布下 称 为 更 新 过 程 的 等 待 时 间 分 布 . 


由 定义 式 可 知 ,对 一 切 n 之 1 及 1 宇 0 
{1N(i) 宇 n| = |{S,t}， 
{IN(1)=n|=1{S,<i< S,+1}, 
N(1)+1=inf{in 守 1:S, >+|. 
因此 ,N(z)+1 是 关于 {W,,n 之 1| 或 1S,,n 之 0| 的 停 时 . 
由 强大 数 律 ,以 概率 1 有 


ls,=T 9D) Wp= EWi. 
;=1 


n 
条 件 (1) 保 证 x >0( 但 可 能 py = co) ,因而 以 概率 1 有 S,->oo ,对 一 切 宕 0 
P(N(2)<%)= limp(N(1)<n)= limp(S, >)=1. 


所 以 N(z) 取 有 限 值 . 


个 


(2) 
(3) 
(4), 


容易 看 出 ,更 新 过 程 1N (i),t 之 0 为 简单 计数 过 程 的 充 要 条 件 是 PCWi = 0)=0, 即 


F(0)=0. 


对 更 新 过 程 N = {N(z),: 之 01 来 说 ,1S,1 是 一 列 使 N “重新 开始 "的 时 刻 , 即 对 每 个 S,， 
IN(1+S,)--N(S,),t 之 0| 与 1N(t),t 之 0} 是 同 分 布 的 .这 一 点 在 研究 更 新 过 程 时 常常 用 到 . 


S, 的 分 布 函数 
.154 : 


P(S,2)= Fx x F(t)=F*” (5) 
SE 


n 次 
是 下 的 n 重 卷 积 , x 是 卷 积 的 记号 . 按 惯例 ,下 的 “和 零 次 ” 卷 积 F*0 为 
sb ls 1 之 0， 
be 


它 是 以 概率 1 为 零 的 随机 变量 的 分 布 函 数 , 由 (3),N(z) 的 分 布 为 


P(N(1)=n)=P(S,<1< 5,11)=P(S,<i) -Pp(S, ,St) 
=F*"(t)- Fm"+D(1), n>0. 


我 们 早已 熟知 , 若 等 待 时 间 分 布 为 指数 分 布 , 则 更 新 过 程 就 是 泊 松 过 程 . 

一 种 元 件 ( 例 如 唱 体 管 . 灯 泡 等 等 ) 使 用 若干 时 间 后 损坏 失效 ,在 失效 后 随即 换 上 新 的 同样 的 
元 件 ( 假 定 更 换 是 瞬时 间 完 成 的 , 即 不 占用 时 间 ), 各 个 元 件 的 寿命 是 相互 独立 同 分 布 的 , 则 到 时 
刻 i 为 止 失 效 的 元 件 个 数 ,或 已 发 生 的 更 新 次 数 是 一 个 更 新 过 程 .这 就 是 更 新 过 程 的 名 称 的 由 
来 .然而 ,应 用 更 新 过 程 的 场合 可 以 是 多 种 多 样 的 .例如 ,公路 上 的 车 流 从 距离 上 看 常 被 考虑 为 一 
个 更 新 过 程 , 即 把 前 后 车 辆 间 的 距离 假定 为 相互 独立 同 分 布 的 随机 变量 列 . 另 一 方面 ,在 一 固定 
地 点 观察 通过 该 点 的 累计 车 辆 数 ,也 常 假 定 为 是 一 个 更 新 过 程 .这 相当 于 假定 通过 该 点 的 车 辆 的 
时 间 间 隔 是 相互 独立 同 分 布 的 . 

例 1.1 工 型 计数 器 记 数 器 是 一 个 能 够 记录 接受 到 的 信和 号 次 数 的 装置 .例如 , 盖 革 
(Geiger) -- 雇 勒 (Miiller) 计 数 器 是 一 个 记录 接受 到 的 放射 性 粒子 个 数 的 装置 .计数 器 接受 到 一 
信号 会 使 计数 器 关闭 一 段 时 间 不 能 再 记录 新 到 的 信号 .假定 在 计数 器 关闭 时 收 到 的 信号 对 计数 
右 不 起 作用 ,这 样 的 计数 器 称 为 I 型 计数 器 . 设 |W,,n 宇 1| 为 i.i.d. 严 格 正 的 随机 变量 序列 . 令 
So=0,S, = Wi1+… 二 W, ,7n 之 1. S;,,n 之 0 是 第 n 个 信和 号 到 达 的 时 刻 .这 里 我 们 假定 Su=0 时 
就 有 一 个 信号 到 来 . 设 iY,,n 宇 0 为 i.i.d. 严 格 正 的 随机 变量 序列 , 且 与 iW,,n 之 1| 相 互 独 立 . 
Y, 是 第 ” 个 被 记录 下 来 的 信号 使 计数 器 关闭 的 时 间 . 计数 器 操作 如 下 :在 初始 时 刻 记录 下 一 个 
信号 ,接着 关闭 Yo 时 间 . 这 段 时 间 过 后 第 一 个 来 到 的 信号 又 被 记录 下 来 ， 并 使 计数 器 关闭 Yi 时 
间 . 之 后 再 继续 重复 进行 .定义 


no=0, n= minlk>n-1:S>S, ,+ Y;-1), 7 之 1 ， 


则 S， ,是 第 7 次 记录 的 时 刻 .由 于 从 每 个 记录 时 刻 开始 ,计数 器 的 操作 就 像 重 新 开始 一 样 ,因此 
{nj — nj- 1 之 1 与 1S。 一 3 _ ,7 过 1 都 是 i.i.d. 随 机 变量 序列 .( 如 读者 有 兴趣 证 明 这 事实 ,可 
参见 第 一 章 的 定理 2.2. ) 令 

M(1)= max!j>0: S$, <t|, 1 之 0， 


则 iM(z),z 之 0} 也 是 更 新 过 程 ,M(z) 是 在 (0,z] 中 记录 下 来 的 信号 个 数 . 口 
例 1.2 开 型 计数 器 若 在 计数 器 关闭 时 来 到 的 信号 也 要 对 计数 器 起 作用 ,使 它 关闭 一 段 
时 间 ,这 样 的 计数 器 称 为 开 型 计数 器 .引进 与 上 例 相 同 的 随机 变量 ,但 其 中 的 Y, 是 第 ”个 信号 
使 计数 器 关闭 的 时 间 . 现 在 ,对 每 个 之 0,( Si ,Ss + Yi ] 都 是 计数 器 关闭 的 时 间 , 第 个 信和 号 被 
We 


记录 下 来 意味 着 S,>S,+ Y,,r=0,1,…,k 一 1. 定 义 
no=0,n;=inf{k>n;_1:S:>S,+ Yr=n;-1,.,k—1),j 之 1， 


则 S。 是 第 j 次 记录 的 时 刻 .由 于 从 每 个 记录 时 刻 开 始 ,计数 器 的 操作 就 像 重 新 开始 一 样 ,假定 
P(n<o%)=1, 那 么 [nj 一 nj-1,j 之 1| 与 15,- S。,,j 之 1| 都 是 i.i.d. 随 机 变量 序列 . 仍 以 M(z) 
记 (0,zj] 中 记录 下 来 的 信号 个 数 , 则 {M(t),t 宇 0} 也 是 更 新 过 程 。 口 

例 1.3 排队 系统 G/G/1 这 时 来 到 排队 系统 的 顾客 的 累计 数 就 是 一 个 更 新 过 程 . 凡 有 顾 
客 在 接受 服务 就 称 系统 处 于 忙碌 状态 ,系统 中 没有 顾客 就 称 系 统 处 于 空闲 状态 .假定 在 初始 时 刻 
就 有 一 个 顾客 到 来 ,第 一 个 忙碌 周期 已 经 开始 ,然后 直到 系统 中 的 顾客 全 部 服务 完毕 ,第 一 个 忙 
碌 周期 结束 ,接着 第 一 个 空闲 周期 开始 .但 当 又 有 顾客 到 来 时 又 一 个 忙碌 周期 开始 ,这 时 系统 的 
状况 又 重新 开始 . 

引进 与 例 1.1 相同 的 随机 变量 ,但 其 中 的 S, ,n 宇 0 是 第 2 个 顾客 来 到 的 时 刻 , Y, ,n 宇 0 是 
第 ”个 顾客 的 服务 时 间 . 定 义 


no=0,n=inf{k>n-1:S>S, ,+ Tt .十 Y, 11,j 宇 1， 


则 S, 是 忙碌 周期 开始 的 时 刻 .由 于 从 每 个 忙碌 周期 的 开始 时 刻 起 ,排队 系统 的 状况 就 像 重 新 开 

始 一 样 , 假 定 P(xn1< %)=1( 例 如 , E[W1]>E[Y,] 时 这 可 由 强大 数 律 得 到 ) ,那么 {nj 一 nj_1， 

j 之 11 与 1S,- S，_,,j 之 1| 都 是 i.i.d. 随 机 变量 序列 .因此 ,S, ,j 之 1, 也 构成 更 新 时 刻 . [0 
定理 1.1 对 更 新 过 程 N= {N(i),t 之 0| ,以 概率 1 有 


limN(o- 工 ， (6) 
a 





to 


4= 时 ,1/p 理解 为 0. 
证 由 N(z) 的 定义 可 知 lim,.wN(t)= co 及 


SN()SELE SN +1) 


SN < 上 SN)+1_ SN)+1 .NCD)+1 




















N(2) Ni) NI) Ni)+L NO) . (7) 
由 强大 数 律 ,以 概率 1 有 
SN 
Wy VG Wi 


从 而 由 (7) 即 得 (6). 口 
定理 1.2 设 更 新 过 程 N= {N(i),t 之 0| 满 足 条 件 : 


E[Wi]=y<%, VarlWi]=o<o%, 
则 对 一 切实 数 y 


NO -ze <， 


y 1 i 
limP | -2gz. 、 (8) 
ps o ft /pe Ea 0 Tx 
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证 令 关 =i《A+ 双 ViA 7 =[r]+1, 则 


P sy)- PCNCi) 委 [rr 1)=P(N(t)<7,) 




















V EL 
rip 7 
=P(S; ss A 
RN 
由 于 lim, wr/r=1， 
4 tr -ww Vt/p 
lim 一 = lim = 一 y, 
oy Or ovNi/pt+t yo Vi/ 


故 由 中 心 极限 定理 


bmp (F<) -1 —y)=®(y), 


了 一 OO 


其 中 B(y) 是 正 态 分 布 函数 . 口 


定理 1.2 是 更 新 过 程 的 中 心 极限 定理 : N(:) 是 源 近 正 态 分 布 的 ,其 渐 近 均值 为 上] , 渐 近 方 


差 为 to?/p3. 
. 定理 1.3 更 新 过 程 |N(i),t 宇 0 的 任意 阶 矩 存在 :对 一 切 1:,r>0， 


ELN(Cz)]"< oo. 
特别 ， 


m(t)= E[N(t)]= 2) F'"(1)<%. 
证 对 固定 的 上 >0， 


oo oo oo 


E[N(i]" 入 ZrP(N(t) 记 za)= >) mrP(S st)= DwE*"(s). 


n=1 n=1 n=1 


因为 S, 一 co , 故 
limP(S,<1)=0, Vit>0. 


因而 存在 正 整 数 n 使 a=F*"(t)<1. 又 因 对 一 切 m,n 之 0 有 


F* (m+ (4) = | Fe" dF "(SSF "(F's), 


F* (m+k)(;)<<a!, k=0,1,…,m—1. 
这 时 


oo 


E[N(Ci] < 2 wrF*"(t)= > S、 (lm + R)F* (m+h) (2) 


n=1 i=0 £=0 


Sm’ 2 (1+1)"a'< 
i=0 


(9) 


(10) 
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同时 


m(t)= E[N(T)1= 2 E[ls,<n l= 2 P(S.<t) = > FF 


定义 ”m(i)= E[LN(z)] 称 为 更 新 过 程 N= {N(i),t 之 01 的 更 新 函数 . 
m4) 是 [0, 吕 ) 上 的 非 负 右 连 续 单调 增加 函数 (事实 上 ,级 数 了 )”，F*"(+) 在 有 限 区 间 上 


m(0)= >, F*"(0)= >, P(S, =0) 
2) P(W1=0,.…, W, =0) 


= PD [FO = Tp: (1) 


”在 上 面 涉及 的 分 布 函 数 的 卷 积 ((5) 及 (10) 式 ) 和 本 章 下 面 的 讨论 中 ,我 们 都 要 用 到 斯 蒂 尔 切 
斯 (Stieltjes) 积 分 : | h(s)dF(s),0<t<o%. 对 于 不 熟悉 斯 蒂 尔 切 斯 积分 的 读者 ,可 像 学 习 初 等 
概率 论 时 那样 , 先 将 分 布 函 数 下 分 为 连续 型 及 离散 型 分 别 讨论 . 若 下 有 分 布 密度 f, 则 





| (saF(s)= | hCG)ds 
0 0 
归结 为 普通 的 积分 . 若 下 是 离散 型 分 布 ， 


F(t)= > ti 之 0,p;>0,j 之 1， D3 


jt et 


则 


| nC)dF(s)= Sy 


J 


这 时 需 注意 ,上 式 中 的 积分 区 域 是 [0,t] ,包含 了 零点 .因此 , 当 t=0 时 ,这 积分 等 于 h(0)F(0). 
但 当 0<a<&b。 时 ,为 了 使 积分 有 可 加 性 ,应 定义 


| hs)dF(s)= 3 py, 


Ja ‘Sb 


即 积 分 区 域 是 (a ,5]. 一 般 地 ,着 下 =AFj+ (1 一 A)F,0 达 4<1, 其 中 Fi 及 F, 分 别 为 连续 型 及 
离散 型 分 布 函数 , 则 


| h(s)dF(s)=A | Be | As)dF Cs)， 
0 0 5 0 


今后 我 们 还 要 用 到 斯 蒂 尔 切 斯 积分 : | h(s)dm(s). 定 义 完全 是 类 似 的 .由 于 dF*"(t) 是 


在 (1,t+di] 中 发 生 第 n 次 更 新 的 概率 ,因此 dm(1)= 》)”_，dF*"(z) 是 在 (1,t+dt] 中 发 生 
更 新 的 概率 .这 样 ,dm(:) 有 鲜明 的 概率 意义 z 
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定义 VY MY ee | exdF(s), 24>0 


称 为 下 或 Wi 的 拉 首 拉 斯 变换 . 若 下 有 密度 函数 1, 则 上 面 定 义 的 就 是 了 的 拉 普 拉 斯 变换 (参见 
第 三 章 第 二 节 ). 由 于 F(0)<1， 


0<$(X)<1, A>0. 


引 理 1.1 分 布 函数 下 为 其 拉 普 拉 斯 变换 #$(4),4>0 唯一 决定 . 
证 定义 


0， ti<0， 
G(1)=a1—- F((—l1nz)—0), 0< 上 委 1， 
1 ， 1<Lt， 


则 G 为 (0,1] 上 的 概率 分 布 函数 (注意 ,为 了 使 G 右 连续 ,在 上 面 的 定义 式 中 用 了 左 极限 ) , 且 
#02)=| BG) Soh. 
G 的 特征 西数 g(u)= | ewdG(z) 在 w=0 点 的 阶 导数 即 为 ?$(z), 而 1$(n),n 之 11 有 界 ， 
因此 
gw)=1+ DERGn)", -wu<o. 


所 以 g(w) 为 {$8(n),n 之 1| 所 唯一 决定 , 即 G 为 $ 所 唯一 决定 ,从 而 
F(t)=1-G((e ‘) -0), t 过 0 


为 %A) ,>0, 唯 一 决定 口 
定理 1.4 等 待 时 间 分 布 函 数 下 由 更 新 函数 唯一 确定 . 
证 由 于 


| eudF*"(1)= Ee’s,= TI Ee ’™=[$(4)]", 2,n>1, 
i=1 


因此 m(i) 的 拉 普 拉 斯 变换 为 





B= esam(t)= DE erap "(= SF)] = 4 .. 
0 全 J0 | 1—$(2) 


所 以 


__ 抽 (4) 
WN 





由 m 唯一 确定 ,下 亦 随 之 唯一 确定 .” 口 
推论 ” 若 更 新 过 程 N 的 更 新 函数 阅 ( 纪 = 入 , 则 N 是 参数 为 的 泊 松 过 程 . 
证 若 六 为 泊 松 过 程 , 则 Ni) 服从 参数 为 At 的 泊 松 分 布 , 从 而 m (1)= Xz. 反之 ,车 更 新 
SIN 


过 程 N 的 更 新 函数 m(t) = Mt, 则 由 定理 1.4, 等 待 时 间 分 布 下 是 参数 为 4 的 指数 分 布 ,从 而 NN 
为 泊 松 过 程 . 口 
定理 1.5 更 新 函数 zz(z) 满 足下 列 方程 ， 


mm(D=FCD+ | mt-y)daF(y)， (12) 


m(t)= > F*"(z)=F(i)+ > Fn 1D)x 开 (Ci) 


gr 0 | Td 


我 们 还 要 利用 更 新 过 程 的 特点 ,给 出 定理 1.5 的 第 二 种 证 法 ,为 此 需要 用 到 一 般 形式 的 全 概 
率 ( 或 全 期 望 ) 公 式 ,我 们 将 它 写成 一 条 引 理 . 
引 理 1.2 设 X,Y 为 随机 变量 ,X 的 分 布 函数 为 G , 则 


EL[Y]= | ELYIX=zJdG(z). (13) 
设 A 为 随机 事件 ,在 (13) 式 中 取 Y=14 即 得 
P(A)= | PLAIX= xz]dG(z). (14) 


若 X 为 离散 型 随机 变量 ,(14) 式 就 归结 为 通常 的 全 概率 公式 ,(13) 式 的 证 明 还 有 赖 于 如 何 定义 
其 中 的 条 件 期 望 .下面 作 为 参考 ,我 们 上 只 就 (X,Y) 为 连续 型 变量 的 情形 , 按 通常 条 件 期 望 的 定 
义 , 给 出 (13) 式 的 论证 . 


设 (X,Y) 有 联合 密度 函数 &(z,y). 这 时 X 有 密度 函数 g(z)= | kz,y)ay， Y 有 密度 函 
数 h(y)= | 4(z,y)dz, 从 而 


ELYIX=z]= | yt:%)dy,. 


g(x) 
| E[Y|IX=zldG(z)= | (生生 dje(z)dz 


= | (| (x,y)dy)dr = | (| A(z,y)dzjdy 
= | wy)ay= E[Y]. 


在 实际 上 ,使 用 (13) 或 (14) 式 往往 是 因为 根据 具体 情况 ,条件 期 望 E[Y|X =x] 或 条 件 概 率 
PLAIX=z] 可 直接 先 得 到 ,并 非 像 上 面 的 论证 中 那样 要 借助 于 联合 分 布 .这 在 下 面 的 讨论 中 将 
看 得 很 清楚 . 

现在 ,我 们 再 回 到 定理 1.5 的 证 明 上 来 . 


m(1)= ELN(D]=| E[N(1)| WwW,=s]dF(s). (15) 
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注意 到 ,在 Wl=s>t 时 ,显然 有 N(1)=0, 因 此 E[N(z)|W,=s]=0. 在 Wl= s 委 上 时 ,以 时 刻 
s 作为 新 的 时 间 起 点 ,那么 更 新 过 程 就 可 以 看 作 是 重新 开始 , 计 入 第 一 个 更 新 ,就 得 到 E[N(z)| 
Wi=sj]=1+m(t 一 s). 将 所 得 结果 代入 (15) 式 即 得 (12) 式 : 


pe | Rs 上 er 


上 述 证 明 方 法 是 一 种 概率 证 法 ,其 关键 步 又 是 对 第 一 个 更 新 时 刻 W, 取 条 件 期 望 .这 个 方法 
充分 利用 了 更 新 过 程 的 构造 特点 , 即 从 一 个 更 新 时 刻 起 ,在 概率 上 更 新 过 程 好 像 重新 开始 一 样 . 
这 个 方法 通常 被 称 为 更 新 技巧 ,是 研究 更 新 过 程 的 主要 方法 之 一 ,今后 将 被 频繁 地 使 用 . 

定义 设 6b(z) 为 [0,%) 上 的 局 部 有 界 函数 (在 任 一 有 界 区 间 上 有 界 的 函数 ), 未 知 函 数 
B(z) 的 下 列 方程 : 


Bt | BG -sdF(s) (16) 


” 称 为 更 新 方程 . 

更 新 过 程 的 更 新 函数 满足 的 方程 (12) 就 是 一 个 更 新 方程. 使 用 更 新 技巧 还 将 导出 各 种 更 新 
方程 .因此 ,我 们 先 讨论 更 新 方程 的 存在 唯一 性 . 

定义 设 h(z) 为 [0, 吕 ) 上 的 局 部 有 界 函 数 ,G(1) 为 [0,oo) 上 的 右 连续 单调 增加 函数 . 令 


hx G(D)= | Ac- sdG()， :>0. 


注意 , 按 定义 hxG(0)=h(0)G(0). 易 见 hhxG 仍 为 局 部 有 界 函 数 . 当 h 是 右 连续 单调 增加 机 
数 时 ,h * G 也 是 右 连续 单调 增加 函数 . 

引 理 1.3 设 h(i) 为 [0,%) 上 的 局 部 有 界 函 数 ,G(t), 昌 (zt) 为 [0,%) 上 的 右 连续 单调 增加 
欧 数 , 则 

(1) Gx*x* H=HxG, 

(2) (hx G)*xH=hx (Gx H). 

证 不 失 一 般 性 ,可 假设 G 与 日 是 [0,c) 上 的 概率 分 布 函 数 , 且 它们 分 别 是 独立 随机 变量 
X 与 Y 的 分 布 函数 .这 时 G * HH 是 外 + YY 的 分 布 函 数 ,因此 与 及 x* G 相同 . 另 一 方面 ， 


(hxG)x* H(t)= | (网 h(t—s— “)dG(u) jaH(s) 
= aC-Gs+ wu) ,endG(u)dH(s) 
=E[h(t—-(X+Y))lx: yer] 
aC- sa GH)(s) 
=jp#(G#H)(). ODO 
定理 1.6 设 5(1) 为 局 部 有 界 函 数 , 则 更 新 方程 (16) 有 唯一 的 局 部 有 界 解 
B(D)=6(0D0+ | (sam(s). (17) 
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证 已 经 知道 (17) 式 定义 的 B 是 局 部 有 界 的 , 且 
B=b+tbxm=bxF+tbx* DF*" 


=b+ 8+ brF" x*F=b+(b+tbxm)x*F 
-+ 

下 证 唯一 性 .对 满足 (16) 的 局 部 有 界 的 B， 
B=b+BxF=b+bx*xF+BxFx*F=… 


n—1 
=b+bx*. DF"i+BxF"", 
j=1 
sup | BxF*"(s)|< sup |B(s)|IF*"(z), Vz>0. 
0 委 : 太 上 Os 
由 于 S, 一 oo， 


limF*"(1)=P(S,t)=0, 


于 limB* F*"(t)=0. 
再 在 (18) 中 令 2 一 co 得 


B=b+6b* DF*i=b+bx*m, 
即 B 必 有 (17) 的 形式 . 口 
推论 ”对 更 新 过 程 {N(i),i 宇 0|， 


EINCO)P=m(2)+2| me-s)am(s), 1>0. 
证 记 B(z)= ELN(z) 了 , 则 
B(t)=2 > np(N(1)>n)- EN()= > (2n— DF*"(), 
“BxF= > (2n -DF""*F= > (Za 


:二 > [(2n -1)-2]F"” 

= > (22 -1 大” -2 DF*"+F 
=B-2m+F, 

即 B 满足 更 新 方程 


B=(2m— F)+Bx*F, 
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(18) 


(19) 


因而 


B=(2m-F)+(2m—F)*xm 
=2m+2m*m—(F+Fxm) 


=2m t+t2mx*m-m=m+2m*m, 


即 得 (19) ,这 里 利用 了 m= 下 + Fx m ,因为 满足 更 新 方程 m= 下 + m #* FF， 口 
定理 1.7 设 F(t) 有 局 部 有 界 的 密度 函数 f(z): 


F(2)= | f(s)4s, >0, 
则 有 

m(t)= | us)ds, ez>0， (20) 
其 中 

u(t)= f(t)+ | fe- sdam(s), 1 过 0. (21) 
证 (21) 式 定义 的 wx(t) 是 更 新 方程 

B(2)=/(1) + | Be—s)dF(s) 

的 局 部 有 界 解 ,所 以 有 
| u(s)ds = | fls)ds+ | ds | ul(s—r)dF(r) 
=-FCOD+ | (uls -ras)arer) 
FOOD+ 上 人 cas)arc). 


这 说 明 (5)ds 是 更 新 方程 = + 有 Bx 的 解 ,但 ] us)d 是 局 部 有 界 的 ,所 以 由 定理 1.5 
及 更 新 方程 解 的 唯一 性 有 


mlt)= | us)ds. 品 


习 题 
1-1. 设 |&,,n 之 1| 为 伯 努 利 过 程 ， 


[ze] 
N(t)= 2 §6, i220, 
j=1 


则 |{N(z),zt 之 0| 是 更 新 过 程 ,其 等 待 时 间 分 布 为 几何 分 布 . 
' 163， 


1 -2. 设 更 新 过 程 | N(:),t 守 0| 的 等 待 时 间 分 布 是 泊 松 分 布 , 即 : 


P(X, =&)= 和 et， k=0,1,2,.…. 
求 S, 的 分 布 , 并 计算 P(N(i)=). 
1 一 3. 设 更 新 过 程 |N(1),t 实 0| 的 等 待 时 间 有 密度 函数 


一 5 工人 ， 
人 Z 妇 0， 
其 中 6>0,p>0. 计 算 P(N(z) 之 &). 

1 一 4. 对 更 新 过 程 |N(t),t 之 0 证 明 : 若 0<y<1/F(0), 则 


Dy YF*"*(t)<%m, it20. 
1-5. 设 更 新 过 程 |N(1),t 之 0| 的 等 待 时 间 有 密度 函数 /( 工 ) = A?xe ,x 之 0. 试 证 相应 
的 更 新 函数 为 


工 (上 -e-22). 


本 at 
m(t)= EL[N(z)]= DS 


1-6. 证 明 : 更 新 过 程 的 更 新 函数 m (1 ) 连 续 的 充 要 条 件 是 它 的 等 待 时 间 分 布 函 数 下 (z) 连 
续 . 
1-7. 证 明 : 更 新 过 程 N= 1N(1),t 之 0| 的 更 新 函数 m (i) 满 足 : 
< 一 上 m(t) 


CD 

(2) m(1) ~ m(t—h)<1l+ m(h),0<hei. 

1 一 8. 对 更 新 过 程 |IN(z),t 宇 0| , 邻 mi(t)= E[N(z)]1*,k 守 1. 证明: 对 上 之 2,mi(1) 是 下 
列 更 新 方程 的 解 : 


t>0; 


z(t)=h() + | =G- sdF()， 


其 中 (2)= (一 1)*7 FC) -Chmi(t) + + (1)* Ct imi(z)]. 
1-9. 设 5b(z) 为 局 部 有 界 函 数 ,B(1) 是 更 新 方程 


J | BC s)dF(s) 


的 解 , 则 Z(z) = | B(s)ds 是 更 新 方程 
Z(t)= | p(s)ds+ | Z(t sdF(s) 


的 解 . 
1 一 10. 设 在 开 型 计数 器 中 ,信号 来 到 的 间隔 服从 参数 为 人 的 指数 分 布 .每 个 来 到 的 信号 使 
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计数 器 关闭 一 段 国 定 长 度 刀 的 时 间 . 记 了 (上 ) 为 时 刻 上 计数 器 不 关闭 的 概率 .证 明 : 


pe td,， 
t 一 
e “4, t>d. 


1-11. 设 Ni 与 Ns 为 两 个 独立 的 更 新 过 程 ,有 相同 的 连续 等 待 时 间 分 布 函 数 下. 若 N = 
Ni+ N; 也 为 更 新 过 程 , 则 Ni 及 Ni 从 而 N 都 是 泊 松 过 程 . 
1 一 12. 设 Ni 为 泊 松 过 程 , N; 为 更 新 过 程 , Ni 与 N, 相互 独立 .车 N= Ni+ Ns 也 为 更 新 
过 程 , 则 N; 从 而 N 都 是 泊 松 过 程 . 
8$4.2 延迟 更 新 过 程 
在 本 节 中 我 们 将 更 新 过 程 略 作 推广 ,讨论 延迟 更 新 过 程 . 
定义 设 WW= |W,,j 宇 1| 为 一 列 独立 的 非 负 随机 变量 列 ,| Wj,j 之 2| 为 同 分 布 的 ,分 布 为 
下 ,Wi 的 分 布 为 G. 仍 令 So=0,S,= 22"_， Wj,n 之 1， 
N(#)= supln:S,<t|, 
则 N = {N(z),t 守 0] 称 为 延迟 更 新 过 程 ,1S,,n 之 1| 仍 称 为 更 新 时 刘 ,|W;,j 之 1| 为 更 新 (跳跃 ) 
间隔 或 等 待 时 间 , 下 为 等 待 时 间 分 布 .当下 = G 时 ,延迟 更 新 过 程 就 是 更 新 过 程 . 


延迟 更 新 过 程 最 初 来 源 于 这 样 的 考虑 :在 观察 更 新 元 件 的 初始 时 刻 , 第 一 个 元 件 已 经 使 用 了 
to 时 间 ,因此 第 一 个 等 待 时 间 的 分 布 应 修正 为 


F(t1+t0)- F(zo) 


G(2) = 1 FO) 


只 要 下 不 是 指数 分 布 , 它 与 下 已 不 相同 了 ,这 就 是 “延迟 "的 原意 .我 们 定义 的 延迟 更 新 过 程 更 为 
一 般 ,适用 于 更 广泛 的 场合 . 
延迟 更 新 过 程 的 结构 与 更 新 过 程 并 无 差别 , 故 它 仍 为 计数 过 程 , 仍 成 立 关系 式 


1NCD) 疡 中 =1S, 委 寻 ， {IN(1)=n1= 1S, 委 :< So， 


等 等 .事实 上 ,延迟 更 新 过 程 在 第 一 次 更 新 之 后 与 更 新 过 程 就 没有 区 别 了 .所 以 ,可 以 预料 更 新 过 
程 的 许多 结果 对 于 延迟 更 新 过 程 也 成 立 ,也 可 以 用 同样 的 方法 (如 更 新 技巧 ) 讨 论 延 迟 更 新 过 程 . 

定理 2.1 设 N={N(z),t 之 0| 为 延迟 更 新 过 程 , 则 对 一 切 i 之 0,m(:)= E[N(1)]<%， 
且 m(z) 是 更 新 方程 


m(t)=G(0)+ | mG saF(s) (1) 
的 唯一 局 部 有 界 解 : 


m=G+G*me= 2 GxF*" 1D， (2) 
n=1 


其 中 
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mp(t)= 2 F*"(t). 3 
证 对 延迟 更 新 过 程 我 们 仍 有 


m(t)= EL[N(1)]= 2 P(N(1)>n)= 2 P(S,<1) 


=GO)+ DG*F'"()= G+ | GU- sdm(s). 


这 里 只 要 注意 ,G* FF* "(1) 志 FF*"(i),it 守 0， 


m(i)= 2) Gx*F""< OF"(t)=1+ me(t)<%, 120. 
n=0 n=0 


由 此 即 知 m(z) 是 更 新 方程 (1) 的 唯一 局 部 有 界 解 . 口 

对 延 壕 更 新 过 程 的 等 待 时 间 序 列 {W,,n 之 11 ,强大 数 律 与 中 心 极限 定理 仍然 适用 ,因此 定 
理 1,1 与 1.2 以 及 它们 的 证 明 对 延迟 更 新 过 程 依然 成 立 . 

定理 2.2 设 N= |N(z),t 之 0| 为 延迟 更 新 过 程 , 则 以 概率 1 有 





其 中 y= EL Wj. 
定理 2.3 设 延 迟 更 新 过 程 N = |N(i),t 之 01 满 足 条 件 


x=E[W2l<%, c=VarlW,]<%, 
则 对 一 切实 数 y， 
N(D) -tt/p _[ 1 aaa 
limP pe ) | Vian dz. 
定义 ”对 延迟 更 新 过 程 N = |N(i) ,zt 过 0|， 


A(t)=:- Sn), 
R(t1)= SN()+1~t, 
B(t)=A(t)+ R(t)= SN()+1— Sn) 


分 别称 为 时 刻 上 的 年 龄 ,剩余 寿命 和 总 寿命 .它们 分 别 是 时 刻 t 正在 使 用 中 的 元 件 的 年 龄 ,剩余 
寿命 和 总 寿命 .显然 有 


0<A(i)<t,， i>0. | (4) 


4(Ct) Ru) 


Sww) 上 No)+1 
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年 龄 过 程 与 剩余 寿命 过 程 ” 司 有 下 列 重要 的 关系 :对 任意 的 x 之 0,0 志 yt， 


1R(z2)>zxz,A(z) 宇 yl = 1(t 一 y,t+ zx] 中 无 更 新 } 
={R(t—-y)>z+y|l=iA(t+z)>r+yl. 


在 (5) 式 中 取 y=0 得 
[Ri)>zi=1AC+Zz) 志 zh zx 之 0. 


下 面 我 们 将 推导 A(:),R(z),B(zt) 的 分 布 及 期 望 的 公式 . 
今后 ;对 任 一 [0,%) 上 的 分 布 函 数 态 , 记 


H(i:)=1- H(i), 1 之 0. 
ZK 二 人 H(i)di. 


定理 2.4 对 延迟 更 新 过 程 N， 


P(A(t)3z)= 区 (t+ 本 Rll. 


证 先 设 N 为 更 新 过 程 . 令 B(1)=P(A(i) 宇 y). 用 更 新 技巧 


B(1)= | P(A(t)2y| Wi=s)dF(s), 


15>y， s>1, 


A(t) 之 y| Wl = ;s)= 
PUA 人 st.， 


(5) 


(6) 


(7) 
(8) 


(9) 


因为 s>t,y>it 时 ,N(z1)=0,A(1)=t<y;s>t,ySitNH,N(t)=0,A(t)= 1 之 y;s<t 时 ,将 


时 间 原点 移 至 *, 过 程 重新 开始 .所 以 ， 
B(1)=F(t) ly+ | 和 
这 是 一 个 更 新 方程 ,由 定理 1.6 即 得 
BO)=FOlzy +t | FG- wl ondm(o) 


=F(Olzut | Fl wdm(u), 
即 (9) 式 成 立 . 


现在 讨论 一 般 的 延迟 更 新 过 程 . 仍 对 第 一 个 更 新 时 刻 W 取 条 件 期 望 ,只 是 现在 W, 的 分 布 


是 G. 对 z 宇 0 


p(A(1)>z)= 网 PUALD AI Ww = Gy, 


Lela s>1, 
PCA)>z w= 0) -1 Et 
g(t—s), 5< 妇 1 ， 


利用 前 面 的 结果 ,其 中 的 
g=ht+hxme, j(z)= 开 (ti)1 < . 
因为 s>t 时 ,N(t)=0,A(1)=t;s 信 t 时 ,以 s 为 时 间 原 点 ,重新 开始 的 过 程 是 一 个 以 下 为 等 
待 时 间 分 布 的 更 新 过 程 .注意 到 gxG=hx(G+mspx*G)=hxm, 所 以 
P(A(DZz)= Glen + | FO- adm(s). 
由 此 即 得 (9) 式 ， 口 
推论 ”更 新 过 程 是 泊 松 过 程 的 充 要 条 件 为 对 一 切 t: 宇 0,A(z) 的 分 布 函数 是 


F(z), rxI<i, 


魏 
P(A(z)<z) | Sy 





即 min| W) ,it 的 分 布 函 数 . 
证 ”必要 性 早 在 第 一 章 的 定理 3.6 中 证 明了 .要 证 充分 性 .这 时 B(1)=P(A(t) 之 x)= 
[1- F(x  )]1,s,). 由 (9), 


B(1)= F(t)1,sr + 人 F(t-s)dm(s) 
0 


.=F(1)1i,s71+ F(t —s)11, ,zr1dm(s). 


所 以 
J 0 ee | Bie: 
因此 ,1 之 zx 时 


1-F(z )=F()+ | [1- F(z ll smdF(s) 
=F(t1)+[1- F(x  )]F(t -zx), 
[1~ F(x )]JF(t -xz)=F(i). 
所 以 ,zx 宇 0,y 宇 0 时 
F(xr+y)=[1- F(x )]F(y). 
在 上 式 中 取 右 极限 得 
| F(x+y)=F(xr)F(y), zx,y 宕 0. 
由 这 可 知 , 下 是 指数 分 布 . 口 
定理 2.5 对 延迟 更 新 过 程 N， 
P(R(D)>z,A(D) Fy) = Gtz)+ | Fl+tz-s)dm(s), 1,7>0,0<y<, (10) 
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特别 ， 
P(R(D)>z)=G(t+z)+| Fl-s+z)dm(s), 4,z>0. 


证 利用 (5) 及 (9) 式 


和 | 
PC(R(1)>zx,A(t)y)=G(E+ rz) ytalt 、 F(2+x— ss) yerr sdm(s) 


= ttx 
=G(t+z)lo<a+ | F(t+zx-s)liye sdm(s). 


由 此 即 得 (10) 式 .在 (10) 式 中 令 y=0 即 得 (11) 式 . 口 


(11) 


推论 更 新 过 程 是 泊 松 过 程 的 充 要 条 件 为 对 一 切 : 宕 0, R(z) 的 分 布 函 数 就 是 等 待 时 间 分 


布 函 数 下 . 


证 必要 性 早 在 第 一 章 的 定理 3.6 中 已 得 到 了 .要 证 充分 性 .这 时 B(1)=P(R(1)>zx)= 


F(z). 由 (11)， 
| B(1)= F(tz)+ | F(tz-s)dm(s), 
所 以 


Bt (a | B(E= sds). 


DE | F(x)dF(s)=F(+ 7x)+F(r)F(), 
F(t1:+x)=F(1)F(zx), t,xX>0, 


由 此 即 知 ,FF 是 指数 分 布 . 口 
定理 2.6 对 延迟 更 新 过 程 N ， 


p(B(2)> 1)=F(max(t,z))+ | a ee en 


证 ” 先 设 N 为 更 新 过 程 . 令 B(1)=P(B(:)>z),z 之 0, 仍 使 用 更 新 技巧 . 
B(1)= | p(B(1)>z|Wi=s)dF(s). 
这 时 


lis>z|, s>i, 


PCB > 1 Ws) = SS 


(12) 


因为 s>max(t,x) 时 N(t)=0,B8(t)=s>r;max(t,z)>s>tNHN(t)=0,8(1)= sr;t>s 


时 ,将 时 间 原 点 移 至 s ,过 程 重新 开始 .所 以 


证 rele | B(1 -dF(s). 


由 定理 1.6 即 得 (12) 式 . 
现在 讨论 一 般 的 延迟 更 新 过 程 .与 定理 2.4 的 证 明 相仿 , 仍 对 第 一 个 更 新 时 刻 Wi 取 条 件 期 
望 , 而 Wi 的 分 布 是 G. 


Be | p(B(1) >z| Wi=s)dG(s). 


这 时 


P( ( )> | 2 ee s>1, 
BT 


其 中 的 g=h+t+hxme,h(i)= Flmax(t,z)). 仍 由 gxG=hx(G+mrex*G)= 有 hxm 可 得 
(12) 式 ， 口 
定理 2.7 设 为 延迟 更 新 过 程 , 则 
ELA(D)]= G60)+ | -ECG sdm(s),1>0 (13) 


证 记 B(z)= EA(zt). 先 设 NN 为 更 新 过 程 . 则 因 
s>1, 


t,， 
EAC Wi=s]= | st， 


所 以 有 
B(1)= | zaF(s)+ | BO-s)dF(s)= (0) + | Bl s)dF(s). 
再 由 定理 1.6 可 解 得 
B(D)= 下 (+ | (FEG-s)dm()， 
即 (13) 成 立 . 
现在 讨论 一 般 的 延迟 更 新 过 程 . 与 定理 2.4 的 证 明 相仿 ， 
B(z)= 国 E[A(z)| WwW)=s]1dG(s). 
这 时 


£， s>1i, 
EAI | 


其 中 的 g=h+hxmep,h(t)=F(2). 仍 由 gxG=hx(G+mpx*xG)=hxm 可 得 (13) 式 . 

口 

定理 2.8 设 延 迟 更 新 过 程 N 满足 条 件 :yc = EWi<%,xp=E[W,]<%, 则 
ELRCOI= | 5codae+| | F(u)dudm(s), t 之 0 . (14 ) 
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.证 首先 注意 到 N(:)+1 关于 |W,,n 之 1| 是 停 时 ,与 第 一 章 定理 2. Ps 我 们 有 
ElSN)+1]= > E[ WlinG) +1>n ]= > E[W,]P(N(i)+1>n) 


= E[Wi]+ E[W,] > OG SEP Rs 


由 于 A(z)+R(z)=B(i) 志 Sn)+1, 因 此 E[R(:)] 为 局 部 有 界 函 数 . 
记 B(1)= ELR(z)]. 先 设 N 为 更 新 过 程 , 则 因 


到 s>1i, 


E[R(i)|I WI=;s]= 区 








所 以 
BCD)= 六 (CE | Bl s)dF(s) 


| Fo)as+ | B(i—s)dF(s). 
由 定理 1.6 可 解 得 


B(#)= | F(as+ 上 | Fduam(u), 





即 (14) 成 立 . 
对 一 般 的 延迟 更 新 过 程 , 与 前 面 的 证 明 相仿 ， 
B= E[R(2)|W,=s]dG(s). (15) 
这 时 
s—t, s>t， 
E[R(G)IW.=s)= we 
其 中 的 


gg=h+thxme, 、 h(i)= | Fs)as. 
仍 由 gxG=hx(G+mpx*G)=hxm 可 得 (14) 式 . 口 
关于 E[B(z)] 的 讨论 留 给 读者 进行 (习题 2-3.). 
定义 设 mr= 上 [1- F(z)]di<oo, 称 


s， 宇 0， 
so PG 0 (16) 
0， ti<0 


为 下 的 平衡 分 布 .显然 ,平衡 分 布 函数 F, 总 是 连续 的 ,不 管 原来 的 下 是 否 连 续 
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若 延 迟 更 新 过 程 N 的 首次 更 新 闻 隔 Wi 的 分 布 G = 下., 则 N 又 称 为 稳定 更 新 过 程 . 

在 下 一 节 中 我 们 将 会 看 到 ,稳定 更 新 过 程 反 映 延迟 更 新 过 程 经 长 时 间 发 展 变化 后 进 人 稳定 
态 后 的 特性 . 

容易 看 出 ,指数 分 布 的 平衡 分 布 就 是 自己 ,因此 泊 松 过 程 是 稳定 更 新 过 程 . 

定理 2.9 设 延 迟 更 新 过 程 N 满足 条 件 : 


有 | F(1)di<%, 
则 N 为 稳定 更 新 过 程 的 充 要 条 件 是 
,ti (17) 
HF 
证 取 拉 普 拉 斯 变换 
m2)= | esam(t), F(a)= | e*aF(z), G0)= | erdG(s), 
0 0 0 


则 由 (1) 式 m(2)= G(X)+ m(4)F(4), 故 





~、 G(A) 
m(A)= 一 
1- F(A) 
FF 的 拉 普 拉 斯 变换 为 
i Le i pe a _1-F(2) 
F.(2)= | 。 (G-F(OD)dt= 古 区 0 


由 此 ,简单 的 计算 表明 ,G = F, 等 价 于 m(4)=1/pa,m(t)=t/pk. 口 

定理 2.10 设 六 为 稳定 更 新 过 程 , 则 

1) 对 一 切 i: 宇 0,R(z) 的 分 布 函 数 为 F,; 

2) N 有 平稳 增 量 , 即 对 任意 的 n 谤 1 及 11<iy<…<t,|N(t+4) 一 N(1),1 志 i 过 n1 的 分 
布 与 1 无关. 

证 1) 由 (11) 式 及 m(t)=t/yF, 对 一 切 1 之 0,zx 之 0 


P(RCD)>z)= 工 | F(z)dx+ 寺 | Fl-s+r)ds 
HF Ji+z LAF “0 


| WW : 1 (fitz t 了 = 
-二 | Foodv+ 过 上 F(w)du= | F(u)du. 
所 以 ,R(i) 的 分 布 函 数 是 F.. 

2) 对 任 一 固定 的 >0, 令 Y2=NGt+s)-NICi), 它 是 一 个 计数 过 程 ,我 们 要 证 明 它 还 是 
延迟 更 新 过 程 . 事实 上 , 它 的 第 一 个 等 待 时 间 是 R(s), 它 的 分 布 是 F,, 接 下 去 的 等 待 时 间 是 
Wows)+2， Wns)+3，"…,， 需 要 证 明 的 是 R(s), Ww)+2，WN(s)+3，"… 相互 独立 及 Ws)+2， 
WN(s)+3，"… 为 同 分 布下 的 . 

对 任意 的 n 之 1 及 实数 z,zli,…，zn， 
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P(R(s)Szr, WN(s) +2ET1 NOJ+arIS Zr) 


= >,P(S, -5 委 z,Se Ss <S) Fr) F(z,) 


= 5 PC(R(s)<zx,N(s)+1=k)F(r)" F(zr,) 
=P(R(s)Sr)F(zr) F(z )= F(z)F(r) "F(z, ). 


这 样 ,我 们 证 明了 ,两 个 延迟 更 新 过 程 Y'? 与 N 的 等 待 时 间 的 分 布 完全 相同 ,因此 这 两 个 过 
程 同 分 布 . 口 


习 题 
2-1. 设 N 为 更 新 过 程 ,t0,ti>0， 
Y(t)= X(t+10)— X(io), Z(t)= Y(t1+#t1)— Y(t), Li 二 0， 


则 了 = 1Y(Ci),tE0 与 Z=12(0t),t 志 0| 均 为 延迟 更 新 过 程 . 

2 一 2. 试 对 更 新 过 程 | N(1),t 之 0| 计 算 P(R(1)>zxziA(i)= 5s) 及 P(R(1)>zxlA(i+ x/2) 
= s). 

对 于 泊 松 过 程 ,P(R(i)>zlA(Ct+z)=s)=? 

2 一 3. 对 延迟 更 新 过 程 N ,证 明 : 以 概率 1 


2 一 4. 设 N 为 延迟 更 新 过 程 .对 一 切 1 之 0, 以 HH, 记 SN(4) 的 分 布 函 数 , 则 


m9- F(t:-y)dm(y), :> ;>0, 
ts. 


mi tn i a 
dH,(s)= F(t - s)dm(s), s>0. 


试 利用 对 “上 前 最 后 一 个 更 新 时 刻 ”SN() 取 条 件 概率 的 全 概率 公式 
P(A(D)>z)= | P(A(D>zlSwto= 5)dH,(s), 


PR(D)>z)= | PCRG)>zlSy0 = 5)dH(s), 
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P(8(i)>z)= | p(B(1)>z|Sw0) = 5)dH.(s), 


导出 P(A(1) 之 z),P(R(1)>z) 及 P(B(1)>x) 的 公式 . 
2 一 5. 设 延迟 更 新 过 程 N 满足 条 件 ;pc = E[Wi]<%,pr=E[W]<o%, 则 


E[8(z)]= | vac(o)+ | | uaFC)dm(s). 


t 
0 


2 一 6. 车 一 个 等 待 时 间 分 布 的 平衡 分 布 就 是 自身 , 则 此 分 布 必 为 指数 分 布 . 由 此 可 知 ， 


稳定 更 新 过 程 又 是 更 新 过 程 当 且 仅 当 该 过 程 是 泊 松 过 程 . 
2 一 7. 求 平衡 分 布 下 ,车 
1) 下 为 退化 于 c>0 点 的 退化 分 布 ; 
2) 下 为 (0,1) 上 的 均匀 分 布 . 
2 一 8. 对 延迟 更 新 过 程 N ,证 明 :t0,z>0 时 


PCU {IS,E(t,t+z]|)=G(t+z)- Gi)+ | [F(t1:—-s+z)- F(t-;s)]dm(;s). 
特别 ,对 稳定 更 新 过 程 ， 


P(U 1S,€E (st+z]))= F(z). 


一 个 


2-9. 在 1 型 计数 器 ( 例 1.1) 中 , 设 信号 来 到 间隔 的 分 布 为 下 ,信号 使 计数 器 关闭 的 时 间 的 


分 布 为 G,LMF<%,WcG<% ,证明 ;: 
1) ni 的 分 布 为 


Plm=h)= | [FH DC) -F(A)]G(), A>1; 


pA 人 mr(t)dG(); 
3) S,。 的 分 布 为 


P(Su<D=- | Gs I FCs) dme(s); 
4) E[S, ]= pr ELni]. 
$4.3 更 新 定理 
定理 3.1 (初等 更 新 定理 ) 对 延迟 更 新 过 程 N = | N(1),t 之 0| 成 立 


lm 二 3 
i LF 


证 若 jc<%,jyp<%, 在 定理 2.8 的 证 明 中 已 知 


i<E [ SNG)+1]= pe + ppm(z), 
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(1) 





iin (tL (2) 
另 一 方面 , 令 
W, = min( W,, M),n 宇 1, E[W|] = vy, E[W,]= m,n2, 
S, = > Wi， N(1)=supln:S,<t, m(t)= E[N(z)], 
j=1 n 


则 {入 (z),z 之 0| 为 延迟 更 新 过 程 ,以 | 六, ,n 之 1| 为 等 待 时 间 序 列 . 因 Sts ti, SN ri<t+M， 
政 


vm + pMam (1) = E [Sgr]<it+M. 











因此 
a 
又 因 
WS<W,,S,<S,,N(i)N(t), (ti)>m(t), 
所 以 
"~ LM 
a (3) 
to t HF 只 


车 pr = co, 由 (3) 式 即 得 (1) 式 . 若 wr< oo ,联合 (2) 式 及 (3) 式 ,也 得 (1) 式 ， 口 

m(i)= E[N(t)] 是 [0,t] 中 NN 发 生 的 更 新 次 数 的 平均 值 ,因此 m (1)/t 是 单位 时 间 内 N 
的 平均 更 新 次 数 . 另 一 方面 ,pr 是 从 第 二 次 更 新 起 每 一 次 更 新 的 平均 等 待 时 间 . 因 此, (1) 式 表明 
长 时 间 之 后 单位 时 间 内 更 新 次 数 的 平均 值 等 于 一 次 更 新 的 平均 等 待 时 间 . 显然 ,长 时 间 之 后 ,第 
一 次 更 新 的 平均 时 间 对 单位 时 间 内 更 新 次 数 的 平均 值 不 起 作用 . 

引 理 3.1 设 N 为 延迟 更 新 过 程 , 则 对 一 切 1 之 0,a >0,k 之 1， 


P([LN(z+a)- N(1)]>4)<P(LN(a)+1]>k), (4) 
其 中 N 是 等 待 时 间 分 布 为 F 的 更 新 过 程 .特别 ,对 一 切 :之 0 
m(t+ta)-m(i)<me(a)+1. (5) 


证 令 n=infin 之 1:S,€(z,t+a]}, 则 对 & 宇 1 
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P([N(t+a)— N(2)]>4)=P(|1+ > l,i+a(S,) |>k,n,<%) 


=P(|1+ 2 lo-s, .ra-s(S Sn) |>h,n,<%) 


<p([14 2 lo0.a(S, ~ 51) |>4)=P([1+ N(a)]>4), 
因为 n, 关于 |S,,n 之 1| 是 停 时 ,在 x,< oo 的 条 件 下 ,|S,+。- S, ,之 1| 的 条 件 分 布 与 |S, ,之 
1 的 分 布 相同 (参见 第 一 章 定理 2.1) ,从 而 


m(tta)—-m(t)=E[N(t+a)- N(t)]= Se P([N(t1+a)— N(z)] 之 k) 


< OP(1+N(a)]>£)= EI1+N(a)]=1+ms(a). 口 


加 二 法 


引 理 3.2 设 在 延迟 更 新 过 程 中 ,G(t)= Fe (iD) ,其 中 


0， ti<0， 
| F(s)ds 
FO)(1)=42———-, 0<i<c, c>0, (6) 
Fl(s)ds 
0 
1 ， t 宇 c， 
则 对 一 切 a >0 
(t+a)-m(i 委 天 一 一 . (7) 
| Fl(s)ds 


证 记 7y(i)= | FGs)qs. 易 见 ,由 于 F(0)<1,7(1)>0,1>0. 令 


0， ti< 9 
$(2)=2D -6G()= 1 f= 








则 #$(z) 为 非 负 连 续 单 调 增加 函数 . 另 一 方面 ， 
t= | F(s)ds+ | Fl(s)ds 


-7y(D+ | FO-s)ds= 7 + | Gs)dF(s), t>0. 


因此 ,更 新 方程 
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B(D)=7(D+ | B(0- sdF(s) (8) 


的 局 部 有 界 解 为 B(1) = (实际 上 ,由 定理 2.9 也 可 得 出 这 结论 ) .但 是 (8) 的 解 为 B(1) = y(1) 
+ | y(z -sdme(s), 因 此 
0 


7(O+ | 7(t—s)dme(s)=1, 1 之 0. 
现在 ， 


EGU re 





a re sdme(s)]- [$C2)+ | $C s)dme(s)] 


| = — [$+$x pr](z). 
由 于 $+ $x ms 也 单调 增加 ,所 以 


m(t+a)- m(t)=—— -I[$g+$x* mr](t+a)—[ 








即 (7) 式 成 立 . 口 
在 进一步 介绍 更 新 函数 的 渐 近 性 质 时 ,必须 区 分 随机 变量 的 分 布 的 两 种 不 同类 型 . 
定义 设 万 为 随机 变量 X 的 分 布 函数 ， 
ssup(H)= {1:Ye>0,H(:+e)- H(t ~-e)>0| 
称 为 分 布 日 的 支 集 ,ssup( 玉 ) 中 的 点 称 为 日 的 增长 点 .车 存在 d>0 使 
ssup(D)Clzd:n 为 整数 }， (9) 
即 


> P(X=nd)= 


则 称 分 布 电 为 格子 点 分 布 ,X 为 格子 点 变量 ， 满足 (9) 式 的 最 大 正 数 d 称 为 格子 点 分 布 日 的 步 
长 . 若 无 满足 (9) 的 d, 则 分 布 日 称 为 非 格子 点 分 布 .显然 ,格子 点 分 布 是 离散 型 分 布 , 而 连续 型 
分 布 是 非 格子 点 分 布 . 

引 理 3.3 设 N 及 N’ 为 两 个 相互 独立 的 更 新 过 程 ， 有 共同 的 等 待 时 间 分 布 F, 且 下 非 格子 
点 分 布 , 则 对 一 切实 数 z 成 立 


Ve >0,31i,j 之 1 使 得 P(|x+S;-S;| 二 e)>0, (10) 
其 中 |S, ,nn 之 1} 与 和 1S 和 ,nn 之 1 分 别 是 NN 与 N 的 更 新 时 刻 . 
证 以 DD 记 具 有 性 质 (10) 的 实数 xz 全体 , 则 D 有 下 列 性 质 : 
1 aE€D 二 -a€D, 即 D 是 对 称 集 . 
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”这 是 因为 P(|1-a+Si-S1| 委 e)=P(la+Si-Si| 委 e) 
2” a,bED>a+bED. 
这 是 因为 对 任意 的 e>0, 若 有 i,j,m,n 之 1 使 
P(la+ Si- S$’ |<e/2)>0, P(|Ib+S,- S|<e/2)>0, 
则 
Pl(lat+b+Sirm— Si+rlSe) 
>p(la+S;- S|<e/2)P(|6+ (Si -Si)-(S1 -Si 之 se]2) 
=Pp(|la+S;- SS;|<e/2)P(16+ S, — S%l<e/2)>0. 
3” wwED,a, 一 aua=>aED, 即 了 是 闭 集 . 
这 是 因为 对 任意 的 e>>0, 有 a, 使 Ta 一 a,| 志 e/2, 从 而 有 i,j 之 1 使 
p(la, + S;- S$;|<e/2)>0, 
p(la+S;- SS;|<e)>P(|a, + 5;- S;|<e/2)>0. 
4 (0,co) 门 D 不 是 空 集 . 
这 是 因为 若 zDD,3e,>0 使 对 一 切 i,j 之 1,P(|z+S;-S;|e:)=0, 即 


P( U {S;- Si€E[zr -ext+e)|)=0. 


车 (0,%) 门 D 是 空 集 , 则 对 一 切 0<a<65, 由 有 限 覆 盖 定 理 可 知 


oo 


P( U is;-Sier[o,p]1)=0. 


i,j=1 “ 
进而 可 得 


P(U 1s;- Si€(0,%)1)=0, ° P(U {Ss;- SE(-%,0)1)=0, 


1,]=1 ij=1 


这 显然 是 不 可 能 的 . 

现在 记 c=inffzx>0:xzEDjI. 若 c>0, 则 D= {0,+c,+2c,…|. 这 是 因为 每 个 a€D 可 写 
成 a= nc+65,0 和 5<c, 其 中 为 整数 .车 b>0, 则 5ED, 与 c 的 定义 矛盾 .由 于 下 是非 格子 点 
分 布 , 必 有 rx 多 DD,xEssup(F), 从 而 对 任意 的 e>>0 


P(|z+S;- S1| 魏 e) 
宇 P(|zx+ Wi|e/3)P(|z+ W,| 志 e/3)P(|z+ Wil<e/3)>0, 
zx ED ,得 出 矛盾 .所 以 c=0. 因 此 有 一 列 cy0,csED， 
DIOU {0, te6,, +2c,,°}. 


所 以 刀 在 (- co,co) 中 稠密 ,但 也 是 闭 集 , 故 D=(-coo): 口 : 
定理 3.2( 布 莱克 威 尔 (Blackwell) 定 理 ) 若 延 迟 更 新 过 程 N .的 等 待 时 间 分 布 F 为 非 格子 

点 分 布 , 则 对 一 切 a >0 i : 
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lim[m(:+a)- m(:)]}=2. (11) 
4 LAF 


证 着 N 为 稳定 更 新 过 程 ,(11) 是 显然 的 .对 一 般 的 延迟 更 新 过 程 ,我们 要 找 一 个 稳定 更 新 
过 程 “ 逼 近 它 . 先 用 最 简单 的 独立 耦合 , 设 N“ 是 与 N 相互 独立 的 延迟 更 新 过 程 ,其 等 待 时 间 序 
列 为 {W,n 之 1} ,更 新 时 刻 序 列 为 {S%,n 之 11 ,Wi 的 分 布 为 G“,W 的 分 布 为 FF. 

对 任意 的 e >0, 令 


v(e)=inf{n 之 1: 3 m 之 1 使 得 | S, - S| 志 e]， 
v (e)=infim 之 1: 3 nn 之 1 使 得 | SS, | 志 el|， 
tr(e)=suplS,:n 之 1, 3 m 之 1 使 得 | S, - S| 志 e}， 


我 们 要 证 明 :或 者 

P(r(e)< co)=1， Ve>0,G,G ， (12) 
或 者 

Plv(e)<%)=1, Ve>0,G,G’. | (13) 
设 (13) 式 不 成 立 ,我 们 要 证 (12) 式 成 立 .这 时 存在 s>0,G,G“ 使 得 P(u(e) = oo)>0, 即 

0<P(1S,- S%|>e,Vn,m>1) 
= | p(ls,- ss1>eyynmllSi- S1=y)dH(y), 

其 中 妞 是 Si- S1 的 分 布 .因此 存在 yE ( - co ,oo) 使 得 

P(ly+ S, -SS%|>e,Vn,m>1)>0, (14) 


这 里 {S, = Si- S1,n 之 1| 与 和 15 = S11 一 Sm 之 直 是 两 个 独立 的 有 共同 等 待 时 间 分 布 下 
的 更 新 过 程 的 更 新 时 刻 序列 . 取 8=s/3, 由 引 理 3.3, 存 在 i,j 之 1 使 得 


P(A)>0, A=|{|S;-5;-yl<6. | (15) 
由 (14) 得 
p(B)>0, B= {|y+(5,- 5)- (5 5)|>30,Vn>i,m>jl. (16) 
A 与 B 相互 独立 , 且 -2 
ABCC=1|5, -51>28,Vn>i,m>jl. (17) 
由 (15) 与 (16) 得 
: p=P(C)>Pp(AB)=P(A)P(B) >0. (18) 


注意 (14) 一 (18) 与 第 一 个 等 待 时 间 Wi，W’ 无 关 . 现在 我 们 仍 设 G 与 G' 是 任意 的 . 令 


v1=v(6), v1i=v (6), 
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vt1 二 inffn 之 :mv 使 得 |S, 一 S| 三 61， 
vi+1= 二 inf{m 之 v4: 习 n>v 使 得 |S, 一 S| 志 61， 上 之 1. 
车 vo( 从 而 vi<%), 则 {S, +， ~- S,,n 之 1| 与 1S% ,， - Sv ,nn 之 1| 是 两 个 独立 的 有 共同 等 
待 时 间 分 布 下 的 更 新 过 程 的 更 新 时 刻 序列 . 令 
C; = lo.< olN{(S, + S$,)-(S, +m— S%)|>26,V n>i,m>j|, 


则 (参见 第 一 章 定理 2.1) 
P(Cilv<%)=Pp(C)= p>0. 
易 见 
ori < olClv< olNG,, 
P(w, ii<eo) 和 P(w<co)(1-p)， 
P(wusDbyiKoo) 和 (1- pp)"， nl. 


然而 joyrDriccol ir(6)= oo1, 故 得 P(r(6)<%)=1. 
对 任意 的 n,m 宇 1， 


|1S, -S|<26)={|6+S,- S|<olU1lSs,- Ss” -6|<6|, 


因此 r(26)=maxirs(6) 一 6,r3(6)+61, 其 中 zt(6) 是 将 W, 换 成 Wi1+6 后 与 r(6) 相 应 的 随 
机 变量 ,rs(6) 是 将 W'| 换 成 WW1+6 后 相应 的 随机 变量 .由 已 证 得 的 结果 ,P(rts(6)=%)= 
P(r3(6)=%)=0, 因 此 P(r(26)=%%)=0, 进 而 对 一 切 k 之 1,P(r(246)= 吕 )=0. 由 于 zr(e) 随 
e 的 增加 而 增加 ,所 以 对 一 切 s>0,P(r(e)=co)=0, 即 (12) 式 成 立 ， 

现在 ,我 们 分 别 就 (12) 或 (13) 成 立 的 两 种 情况 证 明 (11) 式 . 

先 设 (12) 式 成 立 . 这 时 取 G’=G. 记 A,=|N(t+a) 一 N(i) 之 1}, 则 


[P(A,)P = P(N(t+a)— N(t)Z1,N’'(t+a)-N (1)>1)<P(r(a)>1), (19)- 


因为 N(t+a)- N(i)>1 时 有 Si;E(t,tta],N' (t+a)-N'(t) 之 1 时 有 S;E(t,t+al], 从 
而 |S; 一 S| 二 a,r(a) 之 S;>1. 由 (12) 及 (19) 得 lim,.wP(A,)=0. 由 引 理 3.1, 对 任意 的 之 1 


0m(t+a)—-m(t)= E[(N(t+a)- N(t))1a] 
SkP(A)+ E[(N(t +a)— N(E))litNG+ ea) -Nt] 
SkP(A,) + EL(N(a)+1)18(G)+ 24]. 
在 上 式 中 先 令 :一 co ,再 令 & 一 oo 得 
lim[m(t+a)-m(t)]=0. (20) 
这 时 车 yk< 吕 , 取 G=F., 则 m(i+a)--m(t)=a/pp>0, 与 (20) 式 矛盾 .因此 jp=%, 故 (11) 
式 成 立 . 


再 设 (13) 式 成 立 .这 时 对 一 切 e>0,P(v(e)<%)=P(v'(e)<%)=1. 下 面 用 一 种 非 独 立 
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看 合 ,定义 


». |W,, nv (e), 
W.,= ， 
Wetrn-ve， n>v (e), 


则 { W" ,nn 之 11 与 和 W',n 之 1| 同 分 布 .事实 上 ,对 任意 的 n 之 1 与 实数 zl1，…，zn， 


PpP(WiSZz1 ,Wiz,) = > plv(e)=i,v (e)=j, WIZri,, WET,) 
i,j=1 
2 bz n—1 oo 
二 >3 Dj Plv(e)=i,v (e)=j, WISzri,", WExn) + > > Pl(v(e)=i, 

9 j=1 i=1 

vy (e)=j, WIEzi WEST, Wiri 人 zit Wits -jn ). (21) 
事件 fv(e)=i,v(e)=j1=14|S;-S’ |e,|S, -S|>e,n<i,m<j| 发 生 与 否 由 | Wl,…， 
W;, W1,… ,Wj;1! 完 全 决定 . 当 n 之 j+1 时 


plv(e)=i,v (e)=j, WSri WET, WiriSrit, ,Witn-j 人 Sn) 
=p(v(e)=i,v (e)=j, Wi<ri,, Wx;)P( Wi 人 zit Witn-j 人 STn) 
=Pp(v(e)=i,v (e)=j, WiSzri,", Wx;)P( Wi 人 zt, WE;) 


J 


=p(v(e)=i,v (e)=j, WISr1,", Wr ). (22) 
将 (22) 代 人 (21) 即 得 
PpP(WISzi, ,WSz) =P( WAISEA ,WSr). 
设 延 迟 更 新 过 程 N”" 以 |W“,n 之 1} 为 等 待 时间 序 列 , 则 N 与 六 同 分 布 . 因 为 | Se) - 
Sa 过 es, 而 N "在 Sto) 之 后 与 N 与 Su(e) 之 后 的 等 待 时 间 相同 ,所 以 若 Su 入, 则 
N’(1:+a-e)-N'(t+e)<N(t+a)- N(i EN'(tt+ate)- N'(t-e). 
记 B,= 1S,c.)>z1 ,我 们 有 
N(1+a)- N(t)Z[IN’(i:+t+a-e)-N'(tte)]ls; 
m(t+a)-m(t)>m (tta-e)-m’(tte)- E[(N’(:+a)-N’(t))ls 1. (23) 
N(t+a)-N(t SN (ttate)—- N’(t-e)+[N(t ta)— N(z)]ls, 
m(t+a)-m(t)<m (ttat+e)-— m’(1—-e)+E [(N(z+a)— N(zt))ls]. (24) 


由 引 理 3.1, 对 任意 的 之 1， 


E[(CNCt+a)- N(zt))1ls ]<kP(B,)+ E[CNCt+a)- NG))LNwG+a -NO 
<kP(B,)+ E[(N(a) +1)18c) + n>4]. 


由 于 lim, -P(B,)= 0, 在 上 式 中 先 令 too ,再 令 4 一 co 即 得 
lmE[(NCz+a)- NCD))1a]=0， (25) 


同 理 可 证 
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tmE[(N(t+a)- N(z))1a]=0. (26) 
荐 pp<%, 取 G'=F., 则 m“(1)=z/pe. 由 (23) 一 (26)， 


mlm(t+a)-m(1) -4|<e. 
ES AF AF 
在 上 式 中 令 e 一 0 即 得 (11). ; 

车 jp=%, 取 G =F(9,c>0( 见 引 理 3.2). 由 (24),(25) 及 引 理 3.2， 





mlm(t+0)- te 


7(c) 
在 上 式 中 令 e 一 0,c 一 co 即 得 (11) 口 
初等 更 新 定理 是 布莱克 威 尔 定理 的 推论 (习题 2- 1.). 事 实 上 ,布莱克 威 尔 定理 比 初等 更 新 
定理 精细 得 多 .为 了 进一步 扩展 布莱克 威 尔 定理 的 结论 ,我 们 引入 下 面 的 可 积 性 概念 
定义 设 户 为 [0,co) 上 的 非 负 函数 .对 任 一 2 >0, 令 


ma(a)=inf{fh(t):(n -lt)a<i 委 aa，m(a)= 2 am,(a); 


和 Pana). 
车 对 一 切 a>0,m(a)<% 
limm (a)=limm (a), (27) 
且 这 极限 值 有 限 , 则 称 h 在 [0,co) 上 直接 黎 曼 (Riemann) 可 积 (直接 RR 可 积 ). 
引 理 3.4 设 疡 记 0 在 [0,co) 上 直接 R 可 积 , 则 户 在 [0,ce) 上 黎 曼 可 积 , 且 (27) 式 中 的 极限 
即 | liar. 
证 事实 上 ,对 任意 的 本 >0, 取 a = TA, 则 


0=lim[ m(ax) -m(a#))>lima, > [mar) — mas) 10, 


k 


limt as 之 ， [m,(ar) — ma(ai)]!=0. 
这 即 表明 hh 在 [0,T] 上 歼 曼 可 积 , 旦 


EE 


limi as 2 mn(abi=limias 2 到,(ob)j = | h(i)di. 


现在 取 a =1/2*, 则 对 固定 的 正 整 数 M ， 


24M 


lim las 2 元 (aoi= | hde, 


n=1 
oo 


24M 到 
mas) -ak >) 丈 (at)=a 2 ma) 2) mll)>0, Mo%. 


n=24M+1 WM 
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ao) | ADdatls BD) nD+lar Dm,la)- | aoDdzl， 


n=1 


”在 上 式 中 先 令 有 >o% ,再 令 M 一 oo , 即 得 
i DE es I SE ， 下 


不 难 举 出 在 [0,co ) 上 黎 曙 可 积 ,但 在 [0,co) 上 不 直接 R 可 积 的 非 负 函数 的 例子 .例如 在 
[0,co) 上 黎 曼 可 积 的 函数 在 [0, co ) 上 甚至 可 以 是 无 界 的 ,但 对 直接 R 可 积 的 函数 h ,lim, .wh 
(t)=0. 下 面 的 引 理 给 出 最 有 用 的 直接 R 可 积 的 判别 法 . 

引 理 3.5 设 h 为 [0,oo) 上 的 非 负 单 调 下 降 函 数 , 且 


| h(t)dt<%, 

© » 
则 在 [0,%) 上 直接 R 可 积 . 

证 对 任 一 a >0, 这 时 
ma(a)=h(na), ma(a)=h((n—1)a), 
a De 5) a(na)> | hi)ds, 
a DY naa)=a Dy h(n- Deah(O + | io0dt<a， 

从 而 有 


limia D) m0)1=limia Dia) = | har 口 


引进 直接 R 可 积 性 条 件 是 为 了 保证 下 列 关 键 更 新 定理 成 立 , 它 是 更 新 过 程 理论 中 最 重要 的 
极限 定理 . 
定理 3.3( 关 键 更 新 定理 ) 设 延 迟 更 新 过 程 N 的 等 待 时 间 分 布下 为 非 格子 点 分 布 , 疡 为 
[0,ce) 上 直接 R 可 积 的 非 负 函 数 , 则 | | 
im| hlz- sam(s)=L | h(s)ds. (28) 
iI™oJ0 LF 0 
证 ”对 任意 的 a>0, 今 
h(t)= m,(a), (n—-1l)a<t<na, 7 之 1， 
h(t)= m,(a), (n—1)a<t<na, ee 
易 见 ,对 一 切 之 1,t> pa， 


2) ms(a)[m(t (n—-1)a)—-m(t na)]< | hl -sdm(s) 


二】 
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上 


< ta. (29) 


其 中 C(a) =sup'>ofm(t) -ml(t 一 a)]( 由 引 理 3.1C(a)<%). 在 (29) 中 先 令 1 一 并 利用 
(11) 式 ,然后 令 &-~oco 可 得 


lim| h(t— sdm(s)= Lm(a). (30) 
oo 0 CE 
同 理 可 证 


lim| pt) (31) 
~ 0 HF 


fit-am()S | psam()< | hs dm(s). 

0 0 0 

令 :一 co ,由 (30) 及 (31) 得 
1 2 一 一 六 1 一 
Tm(a)<lim| h(t-s)dm(s)<im| h(t-s)dm(s)<—m(a). 
HF tcov 0 iroy0 : AF 


再 令 a 一 0 即 得 (28) 式 . 口 
推论 设 5b(i) 之 0 在 [0,%) 上 直接 RR 可 积 ,B(zi) 为 更 新 方程 


I | BC) 
的 解 , 则 
imB(OD)= 工 | b(t)di. 
一 = LF Jo 
证 由 关键 更 新 定理 直接 推 得 ,因为 


a | oC- ames), 
lim, .wb6(t)=0. 加 
定理 3.4” 设 延迟 更 新 过 程 N 的 等 待 时间 分 布下 为 非 格子 点 分 布 , 且 pr< oo , 则 


limP(A(1)>z)= 4 | 下 (2)dt， 人 (32) 
to HF Jz 
limP(R(1)>z)= 4 | 天 (dt， z>0, (33) 
to HFJr 
limP(B(1) >z)= | tdF(s), xz 之 0 (34) 
to HFJr 


证 我 们 有 
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P(A(2)z)= G1 + 人 天 (ts)1 ,wdm(s), 
E(z)1i,> 。 为 非 负 单调 下 降 函 数 , 且 
小 下 (1 >- dt= | FC)di<o. 


由 引 理 3.5,F(t)11,>z| 直 接 R 可 积 .由 关键 更 新 定理 即 得 (32) 式 . 
我 们 有 


P(R(2)>zx)= G+ 27)+ | FG+tz- sdm(s), 
F(z + 之) 为 非 负 单 调 下降 函 数 ,是 
上 FG+z)dt= | F(i)di<o. 


由 引 理 3.5,F(z + 之) 直接 R 可 积 .由 关键 更 新 定理 即 得 (33) 式 . (33) 式 也 可 利用 R(1) 与 A(1) 
的 关系 式 ( 第 二 节 (6) 式 ) 及 (32) 式 得 到 . 
我 们 有 


P(B(t)>z)= 区 (max(z ,ti))+ 上 ee 
F(max(z,z)) 是 非 负 单调 下 降 函 数 ,是 
| ECmax(z,z))dz= | F(ar+ 上 Food 
0 0 I 


=z[1- F(z)]}+ [F(a = | arcoD<=. 


由 引 理 3.5, 上 (max(z,z)) 直 接 R 可 积 .由 关键 更 新 定理 也 可 得 到 (34) 式 . 口 
推论 设 更 新 过 程 N 的 等 待 时 间 分 布下 0 FEW lS NMR) 
A(t)) 的 极限 分 布 为 相互 独立 的 充 要 条 件 是 N 为 泊 松 过 


证 记 H(z)= 汪 | F(z)dt. 由 于 
limP(R(1)>z,A(i)>y)= limp(A(i+ 7z)>zr+y)=H(z+y), Z,y 之 0， 
ee 
兮 FE(z)=e “ON 为 泊 松 过 口 
定理 3.5 设 延 迟 更 新 过 程 N 满足 条 件 : eben E[W,]< oo,o2=Var[ W,]< 
co ,等 待 时 间 分 布 下 为 非 格 子 点 分 布 , 则 


2 2 

四 ELACD]- 4 (35) 
2 2 

lim ELR(2)]- 3., (36) 
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lim E [A(D]= 4 二， (37) 
证 我 们 有 


Es | Gs)ds+ a rd dd sy, 
| Fs)as= 鸭 (s 一 2)dF(s) 为 非 负 单调 下 降 函 数 , 且 


. (| (GodFCD)jd= | (6G-odjar= 了 二 szdF(S)= 寺 (px2+o2)， 
由 引 理 3.5, | F(s)ds 直接 RR 可 积 .利用 关键 更 新 定理 即 得 (36). 
我 们 有 : 
Ef 8(2)]= | wac(o)+ | a 
| zaF(z) 是 非 负 单调 下 降 函 数 , 且 


一 dt = di dF(s)= a 
| (ane) ea 


由 引 理 3.5， | waF(w) 直 接 R 可 积 .利用 关键 更 新 定理 即 得 (37). 


(35) 由 (36) 及 (37) 即 得 . 口 

我 们 看 到 , A (1) 与 R(z) 的 极限 分 布 与 极限 均值 都 是 相同 的 .更 有 意思 的 是 8(1)= 
Ww(i)+1, 即 包含 时 刻 t 的 等 待 时 间 的 极限 分 布 与 等 待 时间 分 布下 相去 甚 远 , 其 均值 的 极限 (cz? 
+ py)/n 之 py ,只 有 在 oz =0, 即 等 待 时 间 是 常数 wx 时 才 会 一 样 ,一 般 情况 下 都 要 变 大 .这 一 现象 
在 讨论 泊 松 过 程 时 我 们 已 经 观察 到 了 ,对 更 新 过 程 它 也 同样 存在 ,其 道理 也 是 相同 的 .… 

定理 3.6 设 延 迟 更 新 过 程 N 满足 条 件 ;jy1 = E[ Wi]<%,py= E[W2]<%,o?= 
Var[ Ws] < co ,等 待 时 间 分 布 下 为 非 格 子 点 分 布 , 则 


i 风 3 (38) 
证 由 于 
E[R(t)=ELSvwr- 苛 =HA+Ho(zt) 一 上 上， 
所 以 


i Rt 
££ Kk £ 


由 (36) 即 得 (38) 式 . 0D 
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定义 ” 设 一 个 系统 依次 处 于 “ 接 通 ”与 “ 断 开 ”两 种 状态 . 若 Xi 为 系统 开始 保持 接 通 的 时 间 ， 
而 后 系统 处 于 断 开 状态 的 时 间 为 Yi ,之 后 系统 保持 接 通 的 时 间 为 X,, 再 保持 断 开 的 时 间 为 Y， 
等 等 . 记 
W, = X, + Y,, S,= Wi+t+:…+W,, 7n 之 1]， So=0. 


令 


1 ， S，1 和 IC<S，1+X， 
V(t)= 7 之 1， (39) 


0， Ss-1+ X,St<S,, 


即 {V(z)=1| 代 表 系 统 处 于 “ 接 通 ”状态 ,1V(z)=01 代 表 系 统 处 于 “ 断 开 ”" 状 态 . 若 |(X,,Y,)， 
n 之 1| 为 i.i.d. 随 机 向 量 序列 ,|1V (1),t 之 01 称 为 交替 更 新 过 程 . 





定理 3.7 ”对 交替 更 新 过 程 1V(i),i 辫 0} , 设 E[Xiy+ Yi]<co,Wi=XI+Yi 为 非 格子 点 

分 布 的 . 令 
B(i) = P( 在 时 刻 t 系统 处 于 接 通 状态 )， 

E[X)] 
ETXJ+ETZJ > 

证 记 |W,;=X,+ Y;,i 之 11. 因 为 从 时 刻 Wi(Wit+ W,, Wit+t W2 + Ws3,…) 起 ,交替 更 新 
过 程 {V(t),t 之 01 又 重新 开始 ,所 以 Wi, Wit+ W,, Wi+ W,+ W3i,… 都 是 更 新 时 刻 . 因 此 ,我 
们 可 以 使 用 更 新 技巧 :对 更 新 时 刻 W| 取 条 件 期 望 . 1 


则 limB(z)= 


B(1)= | p[V()=1|Wi=s]dF(s), 


PLX > Wi=;s], s>1,， 


V = 二 $s] 三 
PE DS oo s 革 1， 


因为 若 s>z, 在 Wi=s 的 条 件 下 ,V(t)=1 就 是 XX >1; 若 st, 将 时 间 原 点 移 至 s ,过 程 从 头 
开始 .因此 


Bs | sd a | PLxi>4l w=s]dF(s) 
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=P(X1>0)+ | Bs)dF(s). 
由 引 理 3.5,P(X >:) 是 直接 R 可 积 函 数 , 且 


P(X;>1)di= E [Xi]， 
再 由 定理 3.3 的 推论 ， 


P(X1> 2)di ETX ] 
LimB(D)= 一 E[TW] 
即 (40) 成 立 . 口 

(40) 式 有 简单 明了 的 直观 解释 ,把 “ 接 通 一 断 开 "看 作 一 个 周期 ,那么 (40) 式 的 右 端 表示 平均 
地 每 个 周期 中 ,系统 处 于 接 通 的 时 间 所 占 的 比例 ,(40) 式 表明 这 一 比例 就 是 每 个 时 刻 系 统 正 常 工 
作 的 概率 的 稳定 值 .交替 更 新 过 程 本 身 就 是 一 类 应 用 广泛 的 过 程 模型 ,只 要 一 个 系统 重复 地 交替 
处 于 两 个 不 同 的 状态 ,往往 可 以 用 交替 更 新 过 程 作为 模型 . 例如 某 个 系统 的 某 一 元 件 经 常 失效 ， 
在 它 失 效 后 ,系统 即 停止 工作 ,调换 新 的 元 件 并 进行 维修 ,维修 结束 后 系统 才 重 新 开始 工作 . 若 
X; 表示 第 i 个 元 件 的 寿命 , Y; 表示 第 i 个 元 件 失 效 后 系统 维修 的 时 间 . 设 1(X,, Y;),i 之 11 
i.i.d. .这 时 ,系统 在 工作 与 接 通 相对 应 ,系统 在 维修 与 断 开 相对 应 . 当 Xi + Yi 为 非 格子 点 分 布 


时 ,长 时 间 后 系统 处 于 工作 状态 的 概率 为 
例 3.1 对 更 新 过 程 N,z>0, 令 
Xn =min(W,,7), Y,= W,— X=(W,— zx)’, n 宇 1， 
则 (X,Y,)| 为 i.i.d. 随 机 向 量 序列 ,可 定义 相应 的 交替 更 新 过 程 1V(:) ,zt 之 0}, 且 
[A(W)2zl= {V(t)=01. 
.车 等 待 时 间 分 布下 为 非 格 子 点 分 布 , 则 由 定理 3.7， 


E[X,] 
ELXj+ELYI)] 


肥 P(A(D)>z)= imP(Y(D=0)= 上 2 


但 ELY,j=w- ELX)]， 
ELXi]= | sdF(s)+ | xaF(s)= | F(s)d;s, 
由 此 即 得 (32) 式 . 
类 似 地 , 令 
X=(W, -zx)’, Y,=min(W,,Zz), n 之 1， 
则 和 (X,Y; )| 为 i.i.d. 和 随机 向 量 序列 ,又 可 定义 相应 的 交替 更 新 过 程 {V(i),i: 守 01 , 且 


{R(t)>zl= {V(t)=1|. 
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若 等 待 时 间 分 布 下 为 非 格 子 点 分 布 , 则 由 定理 3.7， 


limP(R(1)> x)= limP( vO) -=D= Et. 


但 E[Xi]=py- EE[Y],E[Yi]= | F(s)ds, 由 此 邑 得 (33) 式 . 


本 例 提供 的 技巧 把 讨论 的 对 象 化 为 交 蔡 更 新 过 程 ,在 解 许多 问题 时 非常 有 用 口 

例 3.2 M/G/1 消失 系统 设 顾客 按照 参数 为 \ 的 泊 松 过 程 来 到 某 个 只 有 一 个 理发 师 的 
理发 店 .每 个 顾客 到 来 后 , 若 已 有 顾客 在 理发 , 则 立即 离开 .车 理发 店 无 顾客 , 则 新 来 的 顾客 就 进 
门 理发 .假定 理发 的 时 间 是 一 个 随机 变量 ,其 分 布 为 G (与 到 来 的 顾客 无 关 ). 现在 问 ,一 个 顾客 
来 到 理发 店 可 马上 开始 理发 的 概率 是 多 少 ? 

解 ”我 们 把 理发 店 看 为 一 个 系统 , 它 依次 交替 处 于 “空闲 "和 * 忙 碌 "两 个 状态 .由 于 指数 分 布 
的 无 记忆 性 ,系统 空闲 的 时 间 间隔 | Xe ,k 之 1} 为 i.i.d. 随 机 变量 序列 ,X, 为 指数 分 布 的 , E [ X;] 
=1/4, 系 统 忙碌 的 时 间 间 隔 { Y, ,& 之 11 也 为 i.i.d. 随 机 变量 序列 , 且 与 1Xj 独 立 。 


EL[Y,] = | ydG(y)= a 


车 p(t)=P( 在 时 刻 1 系统 处 于 空闲 ) , 则 由 (40) 


人 PE A tS 
?一 om ELXi]+E[Y] 1/AA+me 1+ Amce 

这 便 是 长 时 间 后 ,一 个 顾客 到 达 理 发 店 时 可 马上 开始 理发 的 概率 . 

特别 地 ,车 4 =2( 平 均 每 小 时 两 个 顾客 到 来 ) ,mc =1/3, 那 么 lim, .sp(1)=3/5, 即 只 有 3/5 
的 顾客 被 服务 ， 口 

， 例 3.3 M/G/l 排队 系统 ”现在 我 们 讨论 正常 的 M/G 1 排队 系统 , 即 在 上 例 中 ,到 来 的 
顾客 发 现 理 发 店 已 有 顾客 在 理发 时 ,不 马上 走 开 ,而 是 排队 等 候 .我 们 仍然 求 一 个 顾客 来 到 理发 
店 可 马上 开始 理发 的 概率 . 

解 ”这 时 系统 仍 交替 地 处 于 空闲 与 忙碌 两 种 状态 ,不 过 现在 理发 师 要 把 到 来 顾客 (包括 在 服 
务 过 程 中 到 来 的 顾客 ) 都 服务 完 ,系统 才 空闲 ,等 待 下 -- 个 顾客 到 来 . 仍 由 于 指数 分 布 的 无 记忆 
性 ,空闲 的 时 间 间 隔 |X, ,之 1| 为 i.i.d. 随 机 变量 序列 , 且 E[X]=1/4. 而 忙碌 时 段 { Y, ,并 
亦 为 i.i.d. 随 机 变量 序列 , 且 与 1X,} 独 立 ,所 以 对 p(t)=P( 时 刻 上 系统 空闲 ) 有 

E[X 
limp(1) = ETR ETI Tr Ty: (41) 





为 了 计算 E[Yi], 以 U 表示 第 一 个 顾客 服务 过 程 中 新 来 到 的 顾客 数 , V 表示 第 一 个 顾客 的 服务 
时 间 , 则 已 知 U 与 V 时 


E[YIU=u,V=vj=v+u ELY]. 
所 以 
ElfyJj=ELV+UEfy]=ELVJ+ELUIELUY].: (42) 


为 了 保证 理发 店 的 排队 人 数 不 致 无 限 增长 ,来 往 强度 Mu 应 小 于 1, 这 里 jy-!= E[V], 即 平均 
地 说 ,一 个 顾客 的 服务 时 间 内 ,新 来 的 顾客 数 应 该 小 于 1, 因 为 
A 


ELU]= | EL[UIV=v]dH(v)= | QWaH(v)= ， 


其 中 互 是 六 的 分 布 函数 .所 以 由 (42) 


__E[V] _ tl _ 1 - 
El 


又 由 (41) 


a 
l1+aA/p-4) Ap 

特别 地 ,对 A4=2,y =3,lim .p(t) =1/3. 与 例 3.2 相 比 较 , 消 失 系 统 拒 绝 了 2/5 的 顾客 ， 
但 接受 服务 的 顾客 都 不 需 等 待 . 而 正常 的 排队 系统 为 每 个 到 来 的 顾客 服务 ,但 有 2/3 的 顾客 都 需 
排队 等 待 .消失 系统 平均 有 3/5 的 时 间 是 空闲 着 , 而 排队 系统 平均 只 有 1/3 时 间 是 空闲 着 . 口 

在 本 节 的 最 后 ,讨论 格子 点 分 布 情形 的 布莱克 威 尔 定理 及 关键 更 新 定理 .为 叙述 简单 起 见 ， 
只 讨论 更 新 过 程 .延迟 更 新 过 程 留 给 读者 去 讨论 . 

定理 3.8 设 更 新 过 程 N 的 等 待 时 间 分 布 是 步 长 为 d 的 格子 点 分 布 , 则 

lim[m (nd)- m((n -1)d)]=d/p. (43) 


limp()= 


车 0<a< 4 , 非 负 函 数 疡 使 得 2) ,Ah(a+ kidl)< oo, 则 


at+nd 2 
lim|- hlatnd—s)dm(s)=& 2 h(athd). (44) 
Ns : k=0 


证 令 o=P(Wi= nd),n 之 0, 则 fn 之 1:4,>0| 的 最 大 公 因 于 为 1, 且 3)”， na, = jp/d. 
这 时 m(t) 也 是 格子 点 的 , 步 长 为 d. 令 m, = m(nd),n 之 0, 则 更 新 函数 满足 的 更 新 方程 的 形 
式 为 : 


mn 一 3 Qj 十 Mn 一 KR， 7 之 0. (45) 
j=0 k-0 | 
记 
a 
W0= mo= 了 一 ; 2 三 II nin 1， 7 之 1 
0 


由 (45),n 之 1 时 


其 一 上 
= Get > (rp Mma)art moa 
k=0 
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n 
二 Cn 十 > Un -kak 
k=0 


=an+aoun+ Be (46) 
记 
| 2 7 之 1 ， 
£ = 1—ao 
0， n=0,， 
则 
2 f=1, 2 
由 (46) 得 
Wi = f+ pe n 之 1. (47) 
记 U(z)= ,0 uz" ,F(z)= 2 "fz"; 则 (47) 可 写成 
U(z)-—- uo= F(z)+ F(z)U(z), 
了 uot+ F(z) 
U(x)= FC) (48) 


令 P(z)= 2 ta =1/1- F(z)], 则 P(z)=F(z)P(z)+1, 即 
po=1l, p= 2 n 之 1. 
由 马尔 可 夫 链 的 转移 概率 的 极限 性 质 ( 第 二 章 定理 6.1) 可 知 
Be 
由 (48),U(z)=[uot+ F(z)]P(z), 故 (参见 第 二 章 引 理 3.1) 
_ E 过 d ,; _d 
Un 二 uopn 十 之 fipn -1> (uot 之 太 ) 生 (人 oo) 一生， 
,=1 X=1 
(43) 得 证 .(44) 可 由 下 式 类 似 地 得 到 ， | 


| alatnd-s)dm(s)= St 团 


习 题 


3 一 1; 试 由 布 菜 克 威 尔 定理 推出 初等 更 新 定理 . 
3 一 2. 设 正 非 格子 点 分 布 ,证 明 : 
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limlm(t)-m(s )]=0. 


3 一 3. 设 延 迟 更 新 过 程 N 的 更 新 济 数 m(i) 为 线性 函数 :m(t)= Ct,C>0 为 常数 , 则 NN 为 
稳定 更 新 过 程 . 
3 一 4. 设 更 新 过 程 |N(z),it 宇 0| 满 足 条 件 E[Wi]=y< 吕 ，Var[ Wi]=o:<00. 证 明 : 


1 Var[N(1)] cc 
Rs 
to t AP 


wm 
. 


”3 一 5. 证 明 :(1) 车 有 之 0 在 [0,co) 上 直接 及 可 积 , 则 万 x 正 亦 然 . 
(2) 车 站 ,Ah 为 [0,oo) 上 直接 及 可 积 的 非 负 函 数 , 则 hi 十 hh。 亦 然 . 
3 一 6. 假设 延迟 更 新 过 程 N 的 等 待 时 间 分 布下 为 非 格 子 点 分 布 .证 明 下 列 命题 等 价 : 
(1) 布 菜 克 威 尔 定理 ， 
(2) 关键 更 新 定理 ; 


(3) imoP( AE)>#) = | FO)d, z>0; 
Fz 


(4) lim, =P(R(t)>z)= 荆 | F(a, z>0. 
HF dr 


3 一 7. 设 更 新 过 程 N 的 等 待 时 间 分 布 为 非 格子 点 分 布 , 证 明 : 

1) 著 户 >0, 且 E[VWY+I]<oo, 则 E[A(z)2],E[RCr)2],E[8(Ct)2] 存 在 且 
p+l 

limE [A(2)?]= limE [RO J = 0 ET; 


b+l 
aE L(t) = 时 TWT， 


2) 若 E[Wji]< co , 则 


E[ wi3] 


lim E [A(DR(2)]= 0 ETWT: 


3 一 8. 设 在 开 型 计数 器 中 ,信号 来 到 的 间隔 服从 非 格子 点 分 布 下 .每 个 来 到 的 信号 使 计数 器 


关闭 一 段 国定 长 度 d 的 时 间 . 记 B(1) 为 时 刻 计数 器 不 关闭 的 概率 . 若 /= | ey 
证 明 : 
limB(i)= 荆 | 下 (2)de 
to kd 
3 一 9. 某 工 作 台 上 的 仪器 需 日 夜 运行 . 当 仪器 损坏 时 便 换 一 台新 的 仪器 . 试问 在 下 列 情况 
下 ,长 时 间 后 去 检查 在 使 用 的 仪器 ,其 使 用 寿命 (以 年 为 单位 ) 不 到 -一 年 的 概率 是 多 少 ? 
1) 每 台 仪 器 的 寿命 分 布 为 (0,2) 上 的 均匀 分 布 ; 
2) 每 台 仪器 的 寿命 分 布 是 均值 为 1 的 指数 分 布 ， 
3 一 10. 在 工 型 计数 器 ( 例 1.1) 中 , 设 信号 来 到 间隔 的 分 布 为 玉 , 信 号 使 计数器 关闭 的 时 间 的 
分 布 为 G, 玉 ,G 为 非 格子 点 分 布 ,ur< oo ,uc<oo. 以 有 (1) 记 时 刻 1 计数 器 关闭 的 概率 ,证 六 
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limB(z)= 


to0 


“~ KG 


ppl1+ | me(oaG(D] 


3 一 11. 设 1(X9),…, 收 (0)),n 之 1 为 i.i.d.qd 维 随 本 向 量 序列 . 记 


Ww = 多 (1) Fa 


0， 
v= 
J Sn 


+ XH S,=Wit+ W,, 


+ XI VAI<S, 


nn 之 1， 


Si<S 1+XG)， 
1 
_1+ XD + 


j=2,*…， 


J 


d， nn 之 1. 


1V(z),z 之 01 可 称 为 多 状态 交替 更 新 过 程 .车 Wl 为 非 格 子 点 分 布 的 , 则 


E [WI] 





lmp(V(#)=j-1)= 
3 一 12. 对 交替 更 新 过 程 N ,定义 


— W, - 1， 
Ai(i)= 人 


天 一 iT 二 性 
0， 


人 W, -1+ X,), 
1 


Ri1(z)= 


A,(z) 


W,—t, 
0 
设 Wi 为 非 格 子 点 分 布 的 .对 工 >0 求 : 


R2(t)= 


limp(Ai(z)>z), 


El 


el ed 


Wii< W,-1+ XX,， nn 之 1， 
其 它 ， 

W, <i<W, 1+X,, nl, 
其 它 ， 

W,_ + XS W,, n 之 1， 
其 它 ， 

W,_1+ X,<ti<W,, n>1, 
其 它 ， 

limP(Ri(t)>z), i=1,2. 


$4.4 ”有偿 更 新 过 程 与 可 终止 更 新 过 程 
定义 设 |(W,,Y,),n 之 1| 为 i.i.d. 二 维 随机 变量 序列 ,W, 之 0,NN 是 以 {W, ,之 1 为 等 待 


时 间 的 更 新 过 程 , 令 


NICc) 


bg 


则 = 


|X(z) ,zt 过 0 称 为 有 偿 更 新 过 程 . 当 第 n 次 更 新 发 生 时 ,就 获得 奖赏 或 惩罚 Y,.X(z) 就 


是 到 时 刻 t 为 止 累积 的 奖赏 或 惩罚 . 值得 指出 的 是 X, 与 Y, 并 不 需要 假定 相互 独立 ,也 不 必 假 


设 了 ,之 0. 但 是 
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人 (号 NO) 


X(t)= Xt) X(t) Xt) = 2 Yi ,X(t)= 之 Ys 


X,(1),X,(1) 都 是 有 傍 更 新 过 程 ,因此 往往 只 需 讨 论 奖赏 非 负 的 有 偿 更 新 过 程 . 
定理 4.1 设 X 为 有 偿 更 新 过 程 , E[Wi]<co,E[|Yi|]<co, 则 以 概率 1 








人 (1) 


ELXG)]_ ELY,) 
有 人 


证 由 强大 数 律 及 定理 1.1 即 得 (1): 


(r 
X(t) De Y; N(z) ELY!] 


: NG) 1 ETWI]: 











由 瓦尔 德 等 式 


N(2)+1 


E[X(z)]=El| 2 Y;|- E[Ywori]= ELN()+1]E[Y]- E[YrG+1]. 
所 以 只 需 证明 
lm 二 E[YnNvc+ =0， (3) 


即 可 由 初等 更 新 定理 推出 (2). 为 证 (3), 令 B(i) = E[Yn0)+1], 并 用 “更 新 技巧 ”: 


E[Y|Wi=;s], s>t, 


E YY 和 宇 | Wi = 1=1 
[ N(2)+!1 1™ 5 Be gE 


因为 Wi=s>t 时 ,N(1)=0, 而 s<t 时 ,将 时 间 原 点 移 至 *, 过 程 重新 开始 .所 以 
B(O= | EUYsoslWi=sdFCDO=600+ 狼 BC-9DdF(9)， 

其 中 65(D)= | ”ELYi| Wi=s]dF(s). 事 实 上 ,对 一 切 1， 
DIE 人 ELY NwWi=slar(s)< | ELlY lw,=s]dF(s) (4) 


<| EllYilIW=s]dF(s)= EE[IY |<. 
因此 有 


BCD)=500+ | 60 sdm(s)， 


由 (4) ,ti->co 时 ,5(i) 一 0, 故 对 任 给 se>0, 有 工 >0, 使 得 上 > 工时 ,16(t)1<e, 从 而 
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oT ) am Gs) 


1-—T 
Etemt TT) EI Yl] m(t—T) 
~ £ ! 


.在 上 式 中 令 :一 co ,由 初等 更 新 定理 得 


—|B(z)| 
im SETWJ’ 














再 令 ->0 即 得 (3)， 口 

(2) 表明 对 有 偿 更 新 过 程 ， 其 长 时 间 内 获得 的 平均 奖 向 近似 于 每 个 更 新 半期 内 获得 的 单位 
时 间 内 的 平均 奖赏 .这 在 实际 中 有 广泛 的 应 用 . 

例 4.1 设 菜 人 长 期 使 用 自行 车 ,一 辆 车 的 寿命 为 Z 个 月 ,Z 的 分 布 函数 为 甩 . 若 原 有 的 车 
辆 用 了 (全 为 一 固定 正 数 ) 个 月 尚未 损坏 ,为 安全 起 见 将 它 弃 之 不 用 ,化 cl 元 换 一 辆 新 车 .车 
在 工 个 月 以 前 损坏 , 除 化 费 ci 元 换 新 车 外 还 需 附 加 cs 元 的 其 它 支出 . 问 此 人 平均 每 月 要 支付 
多 少 费用 ? . 

解 ” 我 们 用 有 偿 更 新 过 程 来 描述 这 一 问题 .车 第 n 辆 车 可 使 用 Z, 个 月 才 损坏 ,但 实际 使 用 
期 为 W, =min(Z,,T) 个 月 ,n 之 1. 为 换 第 n 辆 新 车 所 需 的 化 费 为 Y, , 按 题 设 


Y= cllw >7| 十 (cl+ co)liw < 
因而 由 定理 4.1, 长 时 间 使 用 自行 车 的 平均 化 费 是 


.6 EL[Yi] citcPp(Wi<T) cotecH(T ) 
1m ss 
| H(z)dx 








ro ~ E[Wi] ELW] 


为 了 使 平均 化 费 最 小 ,应 选取 工 ,使 上 式 右 端 达到 最 小 ， 口 
定理 4.2 设 X 为 有 偿 更 新 过 程 , Wi E[Wil<™, EY 
EL WiYij< oo, 则 对 任意 的 a >0， 


lim(E[X(i+a)]- ELX(t)])=a En (5) 


证 由 瓦尔 德 等 式 ， 


Cr+a)+1 N(D+1 


ELX(t+a)]-E[X(CO]-E[ 2 Yi]- ElYweron]- El Y]+ Elo 
=(E[N(t+a)]- ELINCODELY,1- E[Ywtsori+E[Ywo+i 
所 以 只 需 证 明 


lim E [ Ytw+1] 存 在 且 有 限 ， (6) 
即 可 由 布莱克 威 尔 定理 推出 (5) .为 证 (6), 令 B(z) = E[ Yw)+1]. 在 定理 4.1 的 证 明 中 我 们 已 
经 知道 
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[0 | es 


其 中 6(1)= | E[Y,| Wi=s]dF(s). 不 妨 设 Y, 实 0, 则 65(1) = E[ Yi|Wi=s]dF(s) 是 单 
调 下 降 的 非 负 函数 , 且 


joa = 由 ELYil Wi=sldF(s))d:= | s ELY,| Ww,=s]dr(s) 


攻 | E[WiYi|Wi=sldF(s)= E[WiYi]<%, 


0 


因此 5b(z) 是 直接 R 可 积 的 ,这 样 由 关键 更 新 定理 就 得 到 (6): . 


E[WiY,] 


I 


定理 4.3 设 N 为 更 新 过 程 ,y=E[Wi]<o%,o?=Var[Wi]<o%, 则 以 概率 1 


上 2 
lm 二 | (7) 
lm 上 | RGoD)ds= 和 全 人 (8) 
wn ‘ +o? 
mi | ELA(s)]d a , (9) 
i | ELR(s)]ds = 和 二 , (10) 
客 还 0 24 | 


2 


S, WwW, W, Ws 
| AGs)ds= | A(s+S.1)ds=| sds = 
Si 0 0 2 





由 此 易 见 |( W,， Y,), nn 之 1} 为 i.i.d. 的 .以 {X(1),t 之 0| 表 示 相 应 的 有 偿 更 新 过 程 , 则 


N(2) Nir)+l 


XCD)=- > 有 | A(s)ds< > Y,, (1 
EX(OD]< ELAG)JdSELYI+ me)]. (12) 


注意 到 E [Yi]= E[W3/2]=(o?+ jy?)/2, 利 用 强大 数 律 及 定理 4.1, 由 (11) 及 (12) 即 得 (7) 及 
(9). 





S， W， w Ww 
| R(s)ds= | R(s+S, 1)ds= | "(Ws)ds = = Y,. 
5, 0 0 


因此 ,同样 地 可 得 (8) 及 (10)， 口 
定理 4.4 设 {V(:),t 之 0} 为 交替 更 新 过 程 , E[ Wi]= E[Xi+ Yi1]<%, 则 以 概率 1 
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Ei 


1f 
lm oliv=uds = ETXI + YJ (13) 
Ce a a E[X1j 
tm 二 | P(V(s)= Dds= ETX + YJ (14) 
证 注意 到 
下 1 q 加 | x 
s fv(s)=11Q5 一 s 5S Ans 
[CW, ,XX,) ,nn 之 11 为 ii.d. 的 ,以 {X(z),t 实 0} 记 相应 的 有 偿 更 新 过 程 , 则 
NC) NOD+1 
X60)= DPX) lve-ndss > 和， (15) 
ELIXCD< | PCV(S) = Das<ELX I+ m(#)]. (16) 


利用 强大 数 律 及 定理 4.1, 由 (15) 及 (16) 即 得 (13) 及 (14). 口 

(9) 及 (10) 是 定理 3.5 中 的 (35) 及 (36) 的 推论 ,但 那里 需 假 设 等 待 时 间 分 布 为 非 格 子 点 的 . 
同样 地 ， (14) 是 定理 3.7 的 推论 ,那里 也 需要 非 格子 点 的 假设 . 

定义 更 新 过 程 N , 若 其 更 新 时 间 间 隔 | Wi; ,之 11 以 正 概率 可 取 无 穷 : 


L=F(%)=P(WI<%)<1, . (17) 
则 N 称 为 可 终止 更 新 过 程 .这 时 N(o%) 为 更 新 总 数 ， 
5= SN(w) = sup1S,:S,< oo| 


为 最 后 一 次 更 新 时 刻 . 
定理 4.5 设 N 为 可 终止 更 新 过 程 , 则 更 新 总 数 N(oo) 服 从 几何 分 布 ; 


P(N(o%)=k)=(1-L)L:, 之 0， (18) 
ed 
m(%)= EL[N(%)]=1=7. (19) 
最 后 更 新 时 刻 ZX 的 分 布 为 
P(E = (1 -LL)(l+m()), (20) 
Et=7H7 | -PFCD)ds (21) 


证 由 于 
{N(o)=k}= {Wi<%,, Wi<%, Wi=ocoj， 
| =P(Wi<%)…P(W,<%)P( Wr = %), k 宇 0， 


故 得 (16) 式 .所 以 
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间作 二 2 PNG 凡 = 


P(L<i)= 3 N(%)=&)= Sp(Si<i, W ,= oo) 


大 = 


= 3 P(S,SA)1-L)= (+m(i)(1-L). 


k=0 


EE Lie ]s | E[t|Wi=s]dF(s) 


= | Eltar(s)= | sdF(s)+L El¢], 
所 以 有 


I i 
Et xdFCD)-T | (L-Fs))ds， 口 


例 4.2 设 某 一 条 马路 上 通过 的 车 辆 数 是 一 个 更 新 过 程 ,其 更 新 间隔 | W; ,之 1 的 公共 分 
布 为 下 .假设 一 个 行人 和 欲 穿 过 这 一 马路 ,必须 是 前 后 车 辆 间隔 时 间 超 过 + 时 才能 通过 道路 ,于 是 
这 个 行人 在 更 新 时 刻 S, 首次 可 以 穿 过 马路 当 且 仅 当 Wi 志 z,…,W, 信 r+,W,.,1>7. 我 们 来 求 首 
次 可 穿 过 马路 的 时 刻 的 分 布 与 期 望 . 令 


W. = Wilyw <rt +(+o0)lw>r;, 


则 殉 ; 的 分 布 为 
| F(1)= F(min(t ,7)), 
而 首次 可 穿 过 马路 的 时 刻 便 是 以 { 克 ; ,i 宇 1| 为 更 新 间隔 的 可 终止 更 新 过 程 N 的 最 后 更 新 时 刻 
£, 故 由 定理 4.5 
P(E<1)= (1-F(oo))(l+m(t))=(1- F(r))(1+ m(t)), 
其 中 m= E[N(z)], 而 
1 
1-F(%) 


例 4.3 下 型 计数 器 ”假设 当 计 数 器 接收 到 一 个 粒子 后 将 封闭 长 为 + 的 一 个 时 段 , 且 若 在 
这 个 时 段 中 又 有 粒子 到 来 , 则 从 粒子 到 来 时 起 还 将 封闭 长 为 + 的 一 个 时 段 ,直到 在 长 为 r 的 时 
段 中 无 粒子 到 来 ,计数 器 才 重新 开放 计数 .这 样 的 计数 器 称 为 开 型 计数 器 . 若 粒子 按 更 新 过 程 来 
到 ， 上 Wi 1 为 粒子 来 到 时 间 间 病 ， 坡 





Ec= | [FE(o0) -CD)1d -tes | Pe ,i 


W, = Wiliw<ri t+ (+o)1liw sr. 


又 记 为 对 应 于 更 新 间隔 为 1W; ,i 之 1} 的 可 终止 更 新 过 程 的 最 后 更 新 时 刻 , 则 + 工 便 是 一 
粒子 到 来 后 计数 器 封闭 的 时 间 长 度 .由 定理 4.5 可 求 出 它 的 分 布 与 期 望 . 口 

可 终止 更 新 过 程 N 的 更 新 函数 m (4)= E[N(i)] 是 有 界 的 ; 
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m()<m(%)= ELN(co)]=T. 
与 定理 1.3 一 样 , 它 也 满足 方程 : 
m(D)=FCD+ | me- saF(s). 
设 (4) 为 局 部 有 界 函 数 ,这 时 方程 
=(D)=ACD+ | (dF(s), 20, (22) 


仍 称 为 更 新 方程 ,尽管 这 时 下 满足 条 件 (17) .与 定理 1.4 一 样 可 证 ,这 更 新 方程 有 唯一 的 局 部 有 
界 解 : : 


te | i .0 
车 又 有 极限 lmh(t) =h(o) 存 在 , 则 


limz(#)= lim{h(z)+ | h(t —s)dm(s)! 





pl(o0 ee L 1_h(%) 
-Ato)+Aoo)| dm(s)=h( 0) 1+ Tr | 
为 了 将 条 件 (17) 下 的 更 新 方程 (22) 化 为 普通 的 更 新 方程 ,我 们 将 假设 存在 正 数 a 使 得 
e”dF(1)=1. (23) 


易 见 ,满足 (23) 的 正 数 至 多 只 有 一 个 . 令 


RED | edF(s), 


则 天 (2) 是 概率 分 布 函数 ;F(co)=1. 令 


zt = ez(t), h(t)=e"h(z), 


则 更 新 方程 (22) 化 为 
Zh) + | so alt- serdF()， 
z= + | 0 5d Fs). (24) 
这 就 归结 为 原来 讨论 的 更 新 方程 了 . 


定理 4.6 ” 设 下 为 满足 (17) 的 非 格 子 点 分 布 ,条 件 (23) 满 足 , 局 部 有 和 界 函 数 h(i) 有 极限 
limh(t)=h(o0),z(1) 为 更 新 方程 (22) 的 解 . 令 


A = | td F(t)= | te”dF(t), 
0 0 
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h(t)=h() -hm) -ho) EE. 


若 ewhi(t) 直 接 R 可 积 ,出 
imer[z(O- =(o)]= 寺 | [AD -hom) ld 4%)), (25) 
| 
其 中 


h(%) 


z(%)= lmz(t)= 77 


证 车 h(o)=0, 则 hi1(z)= 有 h(i)， 对 更 新 方程 (22) 的 解 =(+) 用 关键 更 新 定理 即 得 (25 ) 的 
简化 形式 : 


lme”z(2)= 上 | eh(z)dit. 
i 0 
下 面 讨论 h(o%) 关 0 的 情形 . 
1 | a 
(0) = FPO]+ [ (00)dFls), 
(1) z(00)=h() -SI FO)]+ | [z(t = =(o)]dF(s) 
Ee | ee Eg 
0 
[z(t) -zoo)] eh) + | edz s) -zo0)]d Fs). (26) 
对 更 新 方程 (24) 的 解 用 关键 更 新 定理 得 
lime”[z(1) — <(o)]= 寺 | erhi(i)dr, 
oo 4 0 


为 得 到 (25) 式 ,只 需 利用 条 件 (23) 及 分 部 积分 
| “EE, - =1[ LL-F() 





0 l= Q .0 上 二 下 
= __LL ne at 
下 
~1|__L eh 
a | 





这 里 只 要 注意 到 由 条 件 (23) 有 er[ 工 (1)]0,1 = 口 
推论 1 设 下 为 满足 (17) 的 非 格子 点 分 布 ,条 件 (23) 满 足 , 则 


lime”[m(s) -m0)]= ~ [| verdr(e)] (27) 
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证 更 新 函数 mm(:) 满 足 更 新 方程 (22) ,其 中 由 (ti) = 下 (ti). 因 此 产 (oo)= 工 , 且 


h(t)=£7 ED, 上 ehi(t)dt= 
由 此 即 得 (25). 0 
推论 2 设 下 为 满足 (15) 的 非 格子 点 分 布 ,条 件 (21) 满 足 , 则 


lime*P(¢>1)= 1—£. (28) 
ap 


证 由 (20) 式 可 验证 z(1)=P(C 壹 1) 满足 更 新 方程 
z(D)= 1-1)+ | zs)dF(s). (29) 


现在 利用 定理 4.6. 这 时 xz(co)=1,z(co)->z(t)=P(5>i),hC)=1- 工 =A(co), 由 (23) 即 得 
(26). 口 
例 4.4 保险 破产 问题 设 N 是 参数 为 a 的 泊 松 过 程 ,| Y,,n 宇 1) 为 i.i.d. 随 机 变量 ,其 共 


同 分 布 为 连续 ( 非 格 子 点 ) 分 布 G,G(0)=0,p= | xdG(zr)<%m, 且 1Y,,n 之 1| 与 N 独立 . 


我 们 把 N 的 第 n 个 更 新 时 刻 S, 解释 为 某 保险 公司 的 第 个 要 求 赔偿 的 顾客 来 到 的 时 刻 ， 
Y, 为 这 个 顾客 得 到 的 赔偿 金额 .假定 这 家 保险 公司 的 初始 资本 为 x >0, 收 益 率 (单位 时 间 的 收 
和 人 入) 为 c>0, 则 时 刻 z 公司 的 资产 为 


N(2) 


V(t)=zx+cet— 2 Y,, i 之 0， 
公司 永远 不 破产 的 概率 为 
Nt) 
B(z)=P(Vti>0,z+c- >, Y,>0). (30) 


n=1 


约定 x<0 时 ,B(x)=0, 则 - 
P(Vti>0,V()E0IWI=s, Yi=y)=BGrz+cs 一 y)， 


这 里 Wi 是 N 的 第 一 个 更 新 时 刻 , 从 而 按 全 概率 公式 得 
B(x)= 上 | B(xzt+cs—y)Ae”dsdG(y). 
0 0 - 
作 变 换 zx+cs= 上 可 得 
sxB(z)= 人 | (| BG- DaGO) je “ar. 
由 此 可 知 B(z) 是 可 求 导 的 ,将 上 式 两 边 求 导 得 


ee4| B(z)- <B(z)|= -ea B(x — y)dG(y), 
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BCs 有 


从 而 
B(z)-B(OD)= 之 | B(zjdz- 之 | (| Bs-y)dG(y) dz, 
| 人 B(s-?)dG(y) jdz= | (| BC -yas)acty) 
= l | D(aradGtye 上 B(u)du— 下 [TS 
所 以 


B(xz)=B(0)+2 | Ba= li= Gy 
由 于 p= | 1- Gy)Jdy<m, 则 
B(z)=B(0) + | Btz-y)dG(y)， (31) 
1) 设 色 <1. 令 F(y)=2G,(y), 则 L=F(w)= 兴 <1， 


B(x)=B(0)+ 上. Bl = 
B(x)= B(0)[1+ m(x)]. (32) 
按 定义 (30) ,我 人 有 lim B(z) = 1.( 事 实 上 ,由 强大 数 律 ,以 概率 1 


N(CD) 


el 之 Y,)>e -2p >0, 


因此 ; 充分 大 时 ct - > Y, >0, 而 在 任何 有 界 区 间 上 ct - >) Y, 有 下 界 , 故 以 概率 1 

infizo (ct 一 DY )> - o.) 再 由 (32) 式 可 得 

1= B(0)[1+m(o)]= B(0)T 
B(0)=1- 了 上 =1- 儿 . (33) 
又 设 有 正 数 a ,使 得 
A CC. 
| e dG 2) 
即 

| ev[1- G(r)]dr=， 
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| xre“[1- G(x)ldr<™, 


则 由 定理 4.6， 


oo < 
| re“[1— G(x)ldr (34) 
0 


C 


lme=[1-B(z)]= (1- 兴 | 





(34) 表 明 1- B(z) 按 指数 e -ez 减少 , 依 此 公式 可 确定 zx 使 破产 概率 1 一 B(xz) 充 分 地 小 ,a 称 为 
伦 贝 格 (Lundberg) 系 数 . 


2) 若 妊 = 1, 则 (31) 变 成 
B(xz)=B(0)+ | BCz-y)dG(y)， 
从 而 
B(z)= B(0)[1+ me (z)]， 
其 中 me 是 以 G, 为 等 待 时 间 分 布 的 更 新 过 程 的 更 新 函数 ,但 
jim mc (zx)=%, 0 委 B(z) 委 1， 
故 只 能 B(0) =0. 所 以 B(x) 三 0, 即 保险 公司 以 概率 1 要 破产 . 
若 糙 >1, 则 存在 唯一 的 a >0 使 得 


让 
0 AH 


记 
G(x)=PE| e-odGe()， BCz)=e “B(z), 
则 
B(z)=B(0)e “+ | B(z- y)d G,(y). 
由 关键 更 新 定理 ， 


起 | 
| ze “dG.(z)| 
C J0 | 





lime “~“B(r)= B(0) 


然而 由 于 B(z) 有 界 ,lime “B(x)=0, 所 以 B(0)=0, 从 而 B(xz) 二 0, 保 险 公 司 同样 以 概率 1 
要 破产 口 
例 4.5 分 支 过 程 ” 设 某 种 生物 的 寿命 分 布 为 上 上 ,下 为 非 格 子 点 分 布 .每 个 生物 在 它 的 生命 
结束 时 ,以 概率 方 产生 ) 个 后 代 ,j =0,1,…. 设 
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各 个 生物 的 寿命 及 产生 后 代 的 个 数 均 相 互 独立 ,以 X(z) 记 时 刻 t 活着 的 生物 个 数 . 设 Xi =1. 记 
m(t)= E[X(z)]. 
初始 生物 的 寿命 记 为 工 , 则 


: 1， s>i,， 
EXT- | ee z 
因为 s>t 时 ,X(t)=1, 而 st 时 ,以 :为 时 间 原 点 ,初始 生物 的 每 个 后 代 到 时 刻 1 平均 产生 
m(t 一 s) 个 后 代 , 而 初始 生物 平均 有 y 个 后 代 , 所 以 
PY | Ele | aFGD)+ | jC dF, 


Cy ”| ey. 


(35) 
1) 假设 y>1, 这 时 存在 唯一 的 正 数 a ,使 得 
i 一 at 了 
jE e “dF(t)= i 
定义 
G(1)=7| e “dF(s), m(1)=e-“m(z). 
由 (35)， 
m(t)=e (+ | (es)dG(s). (36) 


CG(i) 是 概率 分 布 函数 :G(co ) =1, 且 


co 去 fco oo oo rs 
| oe "Fle)dt = | | dF(s)de= | | e “drdF(s) 
0 0 t 0 0 

1 OO 

a 


上 (pn 


a 


由 更 新 方程 (33) 及 关键 更 新 定理 ， 


lime “mt(:)= 
ay? | te “dF(z) 


这 表明 平均 人 口 按 指数 率 增长 ,a 称 为 马尔 萨 斯 (Malthus) 增 长 率 . 
Es | FAECES | FE(z)diz< oo ,由 (35) 及 关键 更 新 定理 


imm() = | F(t1)dt=1. 
CD A 0 
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3) 若 7<1, 则 


m=)+ DyE' "Fs). 
由 于 limF(z)=0,limF"” x 下 (ti)=0, 因 此 
limm(:)=0. 
若 又 存在 正 数 a >0, 使 得 
| edF(1)= 方 ， 
则 出 定 理 4.6， 


1-—7 


a 口 
oo | te”dF(1:) 
0 


lime®m () 
习 题 
4 一 1. 设 在 有 偿 更 新 过 程 |X(1),t 之 0| 中 ,W, 与 Y, 独立 ,E[|Yi|]<o0, 则 
E[X(2)]= E[Y]E[N(G)]. 
4 一 2. 设 更 新 过 程 N 的 等 待 时 间 分 布下 满足 条 件 g= 二 F(0)>0. 记 


F(2) -gq 1 之 0 
Fo-| 1-g ° Se 
0， ti<0. 


设 更 新 过 程 所 = | 后 (z),t>>01 以 天 为 等 待 时 间 分 布 ,| Y,,n 20| 为 1.i.d. 随 机 变量 序列 ,与 ,六 
相互 独立 , 且 


p(Y,=k)=(1- gq)g: !, 有 之 1 
令 


N(1) 


X= |X(2)=(Y0- D+ > Y,,t>0), 


则 及 与 N 同 分 布 . 
4 一 3. 设 有 h(t) 为 局 部 有 界 函 数 , 且 lim, ,wh(t)=h<o0,z(i) 是 更 新 方程 


ee I en 


的 解 , 则 
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4 一 4. 设 z(i) 是 更 新 方程 
en | z(t— s)dF(s) 
0 


的 解 , 求 lim, ,ow[ z(t)/r"]. 

4 一 5. 来 到 某 汽 车 站 的 旅客 服从 强度 为 1 的 泊 松 过 程 . 当 车 站 上 有 上 个 旅客 时 便 由 一 一 辆 汽 
车 将 旅客 运 走 . 现 假定 , 当 车 站 上 有 7 个 旅客 等 待 时 ,车 站 每 单位 时 间 将 支出 服务 费用 nc 元 ， 每 
开 出 一 辆 汽车 支出 费用 开元 . 人 这 个 量 显 
然 对 确定 汽车 的 票 价 有 重要 作用 . 

4 一 6. 设 一 部 售 米 机 的 储存 箱 可 装 S 公斤 大 米 .顾客 按 一 一 更 新 过 程 来 到 售 米 机 前 购 米 ,顾客 
来 到 间隔 服从 非 格 子 点 分 布 下 . 各 个 顾客 的 购 米 量 服 从 参数 为 A 的 指数 分 布 , 且 相 互 独立 . 假定 
售 米 机 中 储存 的 大 米 少 于 公斤 时 ,将 会 在 瞬间 重新 装 满 以 Xi) 记 时 刻 zt 售 米 机 中 的 大 米 公 
斤 数 ,sS<z<S, 证 明 : 以 概率 1 


1+A(S—x) 


lim 一 le lx A) 1 FA(S—s)* 


foo 所 
4 一 7. 对 习题 3 一 11 中 定义 的 多 状态 交替 更 新 过 程 | V(z),t 之 0| 证 明 : 以 概率 1 


E[X(7)] 


lim 一 | vs)= ys 11ds = E[X(D + + XI ]’ J 


to 


= 


4 一 8. 甲 \ 乙 \ 两 三 名 射手 轮流 射击 一 个 苇子 ,射击 规则 是 射 中 者 应 再 射 ， 直至 首次 射 不 中 为 
止 .以 此 规则 不 断 地 轮流 射击 .三 名 射手 每 次 射 中 的 概率 分 别 为 p, ,i ==1,2,3， 并 且 假 设 各 次 射 
击 的 情况 相互 独立 .试问 :经 过 长 时 间 后 ,甲乙 、 两 的 射击 次 数 的 比例 是 多 少 ? 

4 一 9. 设 乘客 按 强度 为 4 的 泊 松 过 程 来 到 火车 站 乘 车 ,火车 按 一 更 新 过 程 来 到 车 站 载 客 , 每 
列 火 车 将 候车 的 乘客 全 部 载 走 , 火 车 来 到 间隔 服从 非 格子 点 分 布 亚 , 且 HpF<oo. 以 X(t) 记 时 刻 
t 在 候车 的 乘客 数 . 证 明 : 以 概率 1 


im lx- jjds = limPAX(t) = i) = 一 | 2 i “dF(1), i>0. 


tf-»u 
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